Metodología de los Índices de Capacidad de Artificial Analysis
Resumen
Cada Índice de Capacidad de Artificial Analysis combina un conjunto seleccionado de evaluaciones en una única puntuación compuesta que mide el rendimiento de un modelo en un caso de uso profesional específico, como el trabajo legal, sanitario o financiero.
Ejecutamos de forma independiente cada evaluación que compone un índice antes de combinar sus puntuaciones en el índice. Como toda métrica de evaluación, los índices de capacidad tienen limitaciones y pueden no aplicarse directamente a cada caso de uso, pero ofrecen una síntesis útil para comparar modelos en el trabajo que importa a un dominio determinado.
Las evaluaciones subyacentes, incluyendo cómo se ejecuta y puntúa cada una, se documentan en la metodología de Benchmarking de Inteligencia.
Desglose de índices
Cada índice se centra en una sola profesión o campo, como Legal, Salud y Medicina, o Finanzas y Contabilidad, y pondera un conjunto de capacidades según la frecuencia con que cada una aparece en tareas reales de ese campo.
Nuestras ponderaciones de tareas se basan en una taxonomía de actividades laborales al estilo de O*NET. La tabla siguiente muestra los componentes y las ponderaciones de cada índice.
| Índice | Ponderación | Capacidad | Evaluaciones | Descripción |
|---|---|---|---|---|
| Finance & Accounting Index | 30% | Trabajo de conocimiento agéntico | AA-Briefcase v1.1 | Uso de herramientas, planificación y ejecución de tareas de varios pasos, como crear hojas de cálculo, realizar un análisis o coordinar un flujo de trabajo |
| 25% | Conocimientos empresariales | AA-Omniscience v1.1 | Conocimientos del dominio de la contabilidad, las finanzas corporativas, la economía y las inversiones | |
| 15% | Razonamiento | HLE-Diamond | Razonamiento cuantitativo y analítico de varios pasos, aplicado al análisis de sensibilidad, la valoración y la resolución estructurada de problemas | |
| 15% | Ausencia de alucinaciones | AA-Omniscience v1.1 | Evitar cifras o citas inventadas | |
| 10% | Uso agéntico de herramientas | AutomationBench-AA | Completar flujos de trabajo financieros en aplicaciones empresariales, como hojas de cálculo, correo electrónico y herramientas contables, sin infringir las salvaguardas | |
| 5% | Contexto largo | GDP.pdf | Leer y razonar sobre extensos informes financieros, documentos de operaciones y archivos PDF | |
| Strategy & Ops Index | 35% | Uso agéntico de herramientas | AutomationBench-AA | Completar flujos de trabajo de operaciones, RR. HH., marketing, ventas y soporte en aplicaciones empresariales sin infringir las salvaguardas |
| 30% | Trabajo de conocimiento agéntico | AA-Briefcase v1.1 | Uso de herramientas, planificación y coordinación integral de flujos de trabajo de oficina de varios pasos | |
| 25% | Conocimientos empresariales | AA-Omniscience v1.1 | Conocimiento práctico de procesos empresariales, fundamentos de contabilidad y conceptos operativos | |
| 5% | Contexto largo | GDP.pdf | Mantener el contexto en hilos, políticas, registros y documentos PDF extensos | |
| 5% | Ausencia de alucinaciones | AA-Omniscience v1.1 | Evitar cifras, políticas o registros inventados | |
| Legal Index | 30% | Conocimientos jurídicos | AA-Omniscience v1.1 | Conocimiento de leyes, doctrinas y procedimientos en distintas jurisdicciones |
| 25% | Trabajo de conocimiento agéntico | AA-Briefcase v1.1 | Ejecución de flujos de gestión de asuntos, procesos de redacción e investigación asistida por herramientas | |
| 15% | Razonamiento | HLE-Diamond | Argumentación de varios pasos, interpretación de leyes y ponderación de autoridades contradictorias | |
| 15% | Ausencia de alucinaciones | AA-Omniscience v1.1 | Evitar citas de casos o leyes inventadas | |
| 10% | Contexto largo | GDP.pdf | Lectura y síntesis de contratos, producciones de prueba, recopilaciones jurisprudenciales y escritos en PDF | |
| 5% | Uso agéntico de herramientas | AutomationBench-AA | Completar flujos de atención al cliente y operaciones en aplicaciones empresariales sin infringir las salvaguardas | |
| Healthcare & Medical Index | 25% | Conocimientos médicos y sanitarios | AA-Omniscience v1.1 | Conocimientos clínicos de diagnóstico, farmacología y vías asistenciales |
| 25% | Trabajo de conocimiento agéntico | AA-Briefcase v1.1 | Uso de herramientas, planificación y coordinación integral de flujos de historias clínicas electrónicas y farmacia | |
| 15% | Razonamiento de contexto largo | MLCR-AA | Sintetizar hallazgos de historiales de pacientes y expedientes de reclamaciones extensos y fragmentados | |
| 15% | Uso agéntico de herramientas | AutomationBench-AA | Completar flujos de atención al paciente y operaciones en aplicaciones empresariales sin infringir las salvaguardas | |
| 10% | Ausencia de alucinaciones | AA-Omniscience v1.1 | Evitar interacciones farmacológicas, dosis o guías inventadas | |
| 10% | Razonamiento | HLE-Diamond | Razonamiento clínico de varios pasos en biología y medicina | |
| Engineering Index | 30% | Conocimientos de ingeniería | AA-Omniscience v1.1 | Conocimientos del dominio de la ingeniería civil, eléctrica, mecánica y otras disciplinas |
| 20% | Ciencia | CritPt v2 (Hard Subset), Terminal-Bench-Science 0.1 | Física de nivel de investigación y flujos de trabajo de investigación expertos en ciencias de la vida, de la Tierra y físicas | |
| 20% | Razonamiento | HLE-Diamond | Razonamiento cuantitativo de varios pasos para derivaciones, cálculos de dimensionamiento y decisiones de diseño | |
| 15% | Programación agéntica | Terminal-Bench 4.0, FrontierCode 2.0 | Desarrollar, depurar y mantener software en bases de código y entornos de terminal reales | |
| 15% | Trabajo de conocimiento agéntico | AA-Briefcase v1.1 | Uso de herramientas, planificación y ejecución en varios pasos de entregables de ingeniería | |
| Economics Index | 30% | Conocimientos económicos | AA-Omniscience v1.1 | Conocimientos de microeconomía, macroeconomía, hacienda pública y mercados |
| 30% | Trabajo de conocimiento agéntico | AA-Briefcase v1.1 | Uso de herramientas, planificación y ejecución en varios pasos de entregables analíticos | |
| 25% | Razonamiento | HLE-Diamond | Razonamiento cuantitativo y analítico de varios pasos para modelización, estimación e inferencia | |
| 15% | Razonamiento de contexto largo | GDP.pdf | Lectura y razonamiento sobre informes en PDF y artículos de investigación extensos |