Engineering Index
Assesses model performance across the engineering domain. Capabilities evaluated include domain-specific knowledge (civil, electrical, and mechanical engineering), design and analysis, tooling and automation, technical documentation, and more.
Ver fluxos de trabalho representativosThe Artificial Analysis Engineering Index combines performance across benchmarks chosen for engineering work, spanning engineering knowledge, reasoning, agentic execution, and terminal use. We map common tasks from O*NET occupational classifications, then select benchmarks that represent this real-world work. Weights are derived from how often capabilities appear across those tasks.
This composite metric provides a single score for tracking model performance across engineering tasks. Todos os benchmarks subjacentes são executados de forma independente pela Artificial Analysis. Consulte nossa metodologia de benchmarking de inteligência para saber como as avaliações são realizadas.
| Capacidade | Peso | Avaliações |
|---|---|---|
| Engineering Knowledge | 35% | AA-Omniscience Science, Engineering & Mathematics Accuracy |
| Reasoning | 30% | HLE e CritPt |
| Agentic Knowledge Work | 20% | GDPval-AA v2 e AA-Briefcase |
| Agentic Terminal Use | 15% | Terminal-Bench v4.0 |
Pontuação
Artificial Analysis Engineering Index
Artificial Analysis Engineering Index: detalhamento das capacidades
Detalhamento das capacidades
Artificial Analysis Engineering Index: Engineering Knowledge
Fluxos de trabalho representativos
Fluxos de trabalho reais que exercitam as capacidades às quais o Engineering Index atribui mais peso.
Exemplo: Design and analyze a wind turbine support structure to size components against fatigue and extreme-wind load cases, justify safety margins against a governing standard such as IEC 61400, and maximize power output while reliably withstanding environmental stress.
Exemplo: Track an intermittent CFD pipeline failure through the CMake build and Conda environment on a Slurm cluster from the terminal, then ship a fix that spares adjacent batch jobs.
Exemplo: Read a vendor package of CAD schematics and dimensioned drawings to extract GD&T callouts, materials, and interface dimensions per ASME Y14.5, reconcile conflicts across sheets, and draft a specification that cites each source drawing.
Data de lançamento
Artificial Analysis Engineering Index vs. data de lançamento
Custo
Artificial Analysis Engineering Index: custo por tarefa
Artificial Analysis Engineering Index: custo total
Velocidade
Artificial Analysis Engineering Index: tempo por tarefa
Tokens de saída
Artificial Analysis Engineering Index: tokens de saída por tarefa
Perguntas frequentes
Segundo o Engineering Index da Artificial Analysis, os modelos de IA com melhor desempenho em trabalhos de engenharia atualmente são Claude Fable 5.1 (Adaptive Reasoning, Xhigh Effort, Default Fallback) (57), Claude Fable 5.1 (Adaptive Reasoning, Max Effort, Default Fallback) (57) e GPT-6 Astra (max) (55). O ranking é atualizado à medida que novos modelos são lançados.
Sim. O Engineering Index da Artificial Analysis é um benchmark independente do desempenho de modelos de IA em trabalhos de engenharia. Ele mede conhecimento de engenharia, raciocínio quantitativo, execução agêntica e uso de terminal.
O Engineering Index é um benchmark composto da Artificial Analysis que avalia o desempenho dos modelos em engenharia. As capacidades avaliadas incluem conhecimento específico (engenharia civil, elétrica e mecânica), projeto e análise, ferramentas e automação, documentação técnica e muito mais.
O Engineering Index é calculado como a média ponderada das pontuações de suas capacidades. Estas são as pontuações e seus pesos: Engineering Knowledge (35%), Reasoning (30%), Agentic Knowledge Work (20%) e Agentic Terminal Use (15%).
O Engineering Index inclui AA-Omniscience Science, Engineering & Mathematics Accuracy, HLE, CritPt, GDPval-AA v2, AA-Briefcase e Terminal-Bench v4.0.
Atualmente, Claude Fable 5.1 (Adaptive Reasoning, Xhigh Effort, Default Fallback) tem a maior pontuação no Engineering Index: 57 entre os modelos com resultados publicados. Ver modelo
Uma pontuação mais alta no Engineering Index indica melhor desempenho geral nos benchmarks que compõem o índice. Para um caso de uso específico, os resultados de cada benchmark podem ser mais informativos que a pontuação composta.