Índices

AA-Omniscience v1.1AutomationBench-AATerminal-Bench 4.0FrontierCode 2.0GDP.pdfHLE-DiamondCritPt v2 (Hard Subset)Terminal-Bench-Science 0.1
Updated

Artificial Analysis Intelligence Index v5.0.1

A composite benchmark aggregating nine challenging evaluations to provide a holistic measure of AI capabilities across knowledge work, coding, science, and general knowledge.

NegociosProgramaciónHumanidadesFinanzasDerechoMedicinaCienciaMatemáticasAgénticoTrabajo del conocimientoUso de herramientasRedacciónRazonamientoSeguimiento de instruccionesFidelidadMultimodalContexto extenso
Artificial Analysis Progress Index v1
New

Artificial Analysis Progress Index v1

La capacidad de los modelos de lenguaje en una única escala que se mantiene constante a lo largo del tiempo, estimada con la teoría de respuesta al ítem para poder comparar modelos lanzados con años de diferencia.

Artificial Analysis Coding Agent Index

Artificial Analysis Coding Agent Index

Un índice compuesto del rendimiento de los agentes de programación en tareas de ingeniería de software de principio a fin, comparado entre agentes, modelos y configuraciones de ejecución.

ProgramaciónAgénticoUso de herramientasRazonamientoSeguimiento de instrucciones
Artificial Analysis Search Index

Artificial Analysis Search Index

Un índice compuesto de la calidad de las Search APIs en búsqueda agéntica, que combina cada proveedor con el mismo modelo de respuesta para medir la mejora que aporta.

FidelidadRazonamientoAgénticoUso de herramientas
Cyber Index Alliance Launch ArticleCWE-bench (Collinear AI)DeepsecBench (Vercel)CyberGym-E2E (Berkeley RDI)

Artificial Analysis Cyber Index

A composite index of model capability on cyber defense, combining three evaluations of finding and fixing vulnerabilities in real software repositories.

ProgramaciónAgénticoUso de herramientasRazonamiento
AA-Omniscience-DecisionHLE-MultiChoiceWhen2CallWildGuardTest
New

Artificial Analysis Decision Index

A composite index testing decision models across classification, tool calling, knowledge and reasoning.

HumanidadesNegociosFinanzasDerechoMedicinaCienciaMatemáticasFidelidadRazonamientoUso de herramientas
Open Source Models

Artificial Analysis Openness Index

A composite measure providing an industry standard to communicate model openness for users and developers.

AA-Omniscience v1.1HLE-DiamondAutomationBench-AAGDP.pdf

Finance & Accounting Index

Mide el rendimiento en finanzas y contabilidad, incluidos los conocimientos empresariales, el trabajo de conocimiento agéntico, el razonamiento, el uso agéntico de herramientas, el análisis de contexto largo y la ausencia de alucinaciones.

FinanzasNegociosAgénticoTrabajo del conocimientoRazonamientoFidelidadUso de herramientasContexto extenso
AutomationBench-AAAA-Omniscience v1.1GDP.pdf

Strategy & Ops Index

Mide el rendimiento en estrategia y operaciones, incluidos los conocimientos empresariales, el trabajo de conocimiento agéntico, el uso agéntico de herramientas en aplicaciones empresariales, el análisis de contexto largo y la ausencia de alucinaciones.

NegociosAgénticoUso de herramientasTrabajo del conocimientoContexto extensoFidelidad
AA-Briefcase v1.1HLE-DiamondGDP.pdfAutomationBench-AA

Legal Index

Mide el rendimiento en el ámbito jurídico, incluidos los conocimientos jurídicos, el trabajo de conocimiento agéntico, el razonamiento, el análisis de documentos de contexto largo, la ausencia de alucinaciones y el uso agéntico de herramientas.

DerechoAgénticoTrabajo del conocimientoRazonamientoFidelidadContexto extensoUso de herramientas
AA-Briefcase v1.1MLCR-AAAutomationBench-AAHLE-Diamond

Healthcare & Medical Index

Mide el rendimiento en medicina y salud, incluidos los conocimientos clínicos, el trabajo de conocimiento agéntico, el razonamiento de contexto largo sobre historiales de pacientes, la ausencia de alucinaciones, el razonamiento clínico y el uso agéntico de herramientas.

MedicinaAgénticoTrabajo del conocimientoContexto extensoUso de herramientasFidelidadRazonamiento
AA-Briefcase v1.1CritPt v2 (Hard Subset)Terminal-Bench-Science 0.1HLE-DiamondTerminal-Bench 4.0FrontierCode 2.0

Engineering Index

Mide el rendimiento en ingeniería, incluidos los conocimientos de ingeniería, la ciencia, el razonamiento, la programación agéntica y el trabajo de conocimiento agéntico.

CienciaRazonamientoAgénticoProgramaciónTrabajo del conocimiento
AA-Briefcase v1.1HLE-DiamondGDP.pdf

Economics Index

Mide el rendimiento en economía, incluidos los conocimientos económicos, el razonamiento cuantitativo, la ejecución agéntica y el análisis de contexto largo.

NegociosAgénticoTrabajo del conocimientoRazonamientoContexto extenso