Metodología de los Índices de Capacidad de Artificial Analysis
Resumen
Cada Índice de Capacidad de Artificial Analysis combina un conjunto seleccionado de evaluaciones en una única puntuación compuesta que mide el rendimiento de un modelo en un caso de uso profesional específico, como el trabajo legal, sanitario o financiero.
Ejecutamos de forma independiente cada evaluación que compone un índice antes de combinar sus puntuaciones en el índice. Como toda métrica de evaluación, los índices de capacidad tienen limitaciones y pueden no aplicarse directamente a cada caso de uso, pero ofrecen una síntesis útil para comparar modelos en el trabajo que importa a un dominio determinado.
Las evaluaciones subyacentes, incluyendo cómo se ejecuta y puntúa cada una, se documentan en la metodología de Benchmarking de Inteligencia.
Desglose de índices
Cada índice se centra en una sola profesión o campo, como Legal, Salud y Medicina, o Finanzas y Contabilidad, y pondera un conjunto de capacidades según la frecuencia con que cada una aparece en tareas reales de ese campo.
Nuestras ponderaciones de tareas se basan en una taxonomía de actividades laborales al estilo de O*NET. La tabla siguiente muestra los componentes y las ponderaciones de cada índice.
| Índice | Ponderación | Capacidad | Evaluaciones | Descripción |
|---|---|---|---|---|
| Finance & Accounting Index | 30% | Conocimientos empresariales | AA-Omniscience | Conocimientos del dominio de la contabilidad, las finanzas corporativas, la economía y las inversiones |
| 30% | Trabajo de conocimiento agéntico | GDPval-AA v2.1, AA-Briefcase v1.1 | Uso de herramientas, planificación y ejecución de tareas de varios pasos, como crear hojas de cálculo, realizar un análisis o coordinar un flujo de trabajo | |
| 20% | Razonamiento | HLE | Razonamiento cuantitativo y analítico de varios pasos, aplicado al análisis de sensibilidad, la valoración y la resolución estructurada de problemas | |
| 10% | Uso agéntico de herramientas | AutomationBench-AA | Completar flujos de trabajo financieros en aplicaciones empresariales, como hojas de cálculo, correo electrónico y herramientas contables, sin infringir las salvaguardas | |
| 5% | Contexto largo | LCR, GDP.pdf | Leer y razonar sobre extensos informes financieros, documentos de operaciones y archivos PDF | |
| 5% | Ausencia de alucinaciones | AA-Omniscience | Evitar cifras o citas inventadas | |
| Strategy & Ops Index | 35% | Trabajo de conocimiento agéntico | GDPval-AA v2.1, AA-Briefcase v1.1 | Uso de herramientas, planificación y coordinación integral de flujos de trabajo de oficina de varios pasos |
| 30% | Conocimientos empresariales | AA-Omniscience | Conocimiento práctico de procesos empresariales, fundamentos de contabilidad y conceptos operativos | |
| 30% | Uso agéntico de herramientas | AutomationBench-AA | Completar flujos de trabajo de operaciones, RR. HH., marketing, ventas y soporte en aplicaciones empresariales sin infringir las salvaguardas | |
| 5% | Contexto largo | LCR, GDP.pdf | Mantener el contexto en hilos, políticas, registros y documentos PDF extensos | |
| Legal Index | 35% | Conocimientos jurídicos | AA-Omniscience | Conocimiento de leyes, doctrinas y procedimientos en distintas jurisdicciones |
| 25% | Trabajo de conocimiento agéntico | GDPval-AA v2.1, AA-Briefcase v1.1 | Ejecución de flujos de gestión de asuntos, procesos de redacción e investigación asistida por herramientas | |
| 15% | Razonamiento | HLE | Argumentación de varios pasos, interpretación de leyes y ponderación de autoridades contradictorias | |
| 10% | Contexto largo | LCR, GDP.pdf | Lectura y síntesis de contratos, producciones de prueba, recopilaciones jurisprudenciales y escritos en PDF | |
| 10% | Ausencia de alucinaciones | AA-Omniscience | Evitar citas de casos o leyes inventadas | |
| 5% | Uso agéntico de herramientas | AutomationBench-AA | Completar flujos de atención al cliente y operaciones en aplicaciones empresariales sin infringir las salvaguardas | |
| Healthcare & Medical Index | 30% | Conocimientos médicos y sanitarios | AA-Omniscience | Conocimientos clínicos de diagnóstico, farmacología y vías asistenciales |
| 25% | Trabajo de conocimiento agéntico | GDPval-AA v2.1, AA-Briefcase v1.1 | Uso de herramientas, planificación y coordinación integral de flujos de historias clínicas electrónicas y farmacia | |
| 15% | Razonamiento de contexto largo | MLCR-AA | Sintetizar hallazgos de historiales de pacientes y expedientes de reclamaciones extensos y fragmentados | |
| 10% | Ausencia de alucinaciones | AA-Omniscience | Evitar interacciones farmacológicas, dosis o guías inventadas | |
| 10% | Razonamiento | HLE | Razonamiento clínico de varios pasos en biología y medicina | |
| 10% | Uso agéntico de herramientas | AutomationBench-AA | Completar flujos de atención al paciente y operaciones en aplicaciones empresariales sin infringir las salvaguardas | |
| Engineering Index | 35% | Conocimientos de ingeniería | AA-Omniscience | Conocimientos del dominio de la ingeniería civil, eléctrica, mecánica y otras disciplinas |
| 30% | Razonamiento | HLE, CritPt | Razonamiento cuantitativo de varios pasos para derivaciones, cálculos de dimensionamiento y decisiones de diseño | |
| 20% | Trabajo de conocimiento agéntico | GDPval-AA v2.1, AA-Briefcase v1.1 | Uso de herramientas, planificación y ejecución en varios pasos de entregables de ingeniería | |
| 15% | Uso agéntico de terminal | Terminal-Bench 4.0 | Operar entornos de terminal reales para compilaciones, scripts, administración de sistemas y depuración | |
| Economics Index | 35% | Conocimientos económicos | AA-Omniscience | Conocimientos de microeconomía, macroeconomía, hacienda pública y mercados |
| 35% | Razonamiento | HLE | Razonamiento cuantitativo y analítico de varios pasos para modelización, estimación e inferencia | |
| 25% | Trabajo de conocimiento agéntico | GDPval-AA v2.1, AA-Briefcase v1.1 | Uso de herramientas, planificación y ejecución en varios pasos de entregables analíticos | |
| 5% | Razonamiento de contexto largo | LCR | Lectura y razonamiento sobre informes, conjuntos de datos y notas de investigación extensos |