Engineering Index
Avalia o desempenho dos modelos em engenharia. As capacidades avaliadas incluem conhecimento específico do domínio (engenharia civil, elétrica e mecânica), projeto e análise, ferramentas e automação, documentação técnica e muito mais.
Ver fluxos de trabalho representativosThe Artificial Analysis Engineering Index combines performance across benchmarks chosen for engineering work, spanning engineering knowledge, science, reasoning, agentic coding, and agentic knowledge work. We map common tasks from O*NET occupational classifications, then select benchmarks that represent this real-world work. Weights are derived from how often capabilities appear across those tasks.
This composite metric provides a single score for tracking model performance across engineering tasks. Todos os benchmarks subjacentes são executados de forma independente pela Artificial Analysis. Consulte nossa metodologia de benchmarking de inteligência para saber como as avaliações são realizadas.
| Capacidade | Peso | Avaliações |
|---|---|---|
| Conhecimento de engenharia | 30% | AA-Omniscience v1.1: Precisão em Ciência, engenharia e matemática |
| Ciência | 20% | CritPt v2 (Hard Subset) e Terminal-Bench-Science 0.1 |
| Raciocínio | 20% | HLE-Diamond |
| Programação agêntica | 15% | Terminal-Bench 4.0 e FrontierCode 2.0 |
| Trabalho de conhecimento agêntico | 15% | AA-Briefcase v1.1 |
Pontuação
Artificial Analysis Engineering Index
Artificial Analysis Engineering Index: detalhamento das capacidades
Detalhamento das capacidades
Artificial Analysis Engineering Index: Conhecimento de engenharia
Fluxos de trabalho representativos
Fluxos de trabalho reais que exercitam as capacidades às quais o Engineering Index atribui mais peso.
Exemplo: Design and analyze a wind turbine support structure to size components against fatigue and extreme-wind load cases, justify safety margins against a governing standard such as IEC 61400, and maximize power output while reliably withstanding environmental stress.
Exemplo: Track an intermittent CFD pipeline failure through the CMake build and Conda environment on a Slurm cluster from the terminal, then ship a fix that spares adjacent batch jobs.
Exemplo: Read a vendor package of CAD schematics and dimensioned drawings to extract GD&T callouts, materials, and interface dimensions per ASME Y14.5, reconcile conflicts across sheets, and draft a specification that cites each source drawing.
Custo
Artificial Analysis Engineering Index: custo por tarefa
Artificial Analysis Engineering Index vs. custo por tarefa
Velocidade
Artificial Analysis Engineering Index: tempo por tarefa
Tokens de saída
Artificial Analysis Engineering Index: tokens de saída por tarefa
Data de lançamento
Artificial Analysis Engineering Index vs. data de lançamento
Perguntas frequentes
Segundo o Artificial Analysis Engineering Index, os modelos de IA com melhor desempenho em trabalhos de engenharia atualmente são Gemini 4 Carbon (High) (65), Claude Opus 5.5 (Max, Default Fallback) (65) e Gemini 4 Carbon (Medium) (64). O ranking é atualizado à medida que novos modelos são lançados.
Sim. O Engineering Index da Artificial Analysis é um benchmark independente do desempenho de modelos de IA em trabalhos de engenharia. Ele mede conhecimento de engenharia, ciência, raciocínio, programação agêntica e trabalho de conhecimento agêntico.
O Engineering Index é um benchmark composto da Artificial Analysis que avalia o desempenho dos modelos em engenharia. As capacidades avaliadas incluem conhecimento específico (engenharia civil, elétrica e mecânica), projeto e análise, ferramentas e automação, documentação técnica e muito mais.
O Engineering Index é calculado como a média ponderada das pontuações de suas capacidades. Estas são as pontuações e seus pesos: Conhecimento de engenharia (30%), Ciência (20%), Raciocínio (20%), Programação agêntica (15%) e Trabalho de conhecimento agêntico (15%).
O Engineering Index inclui AA-Omniscience v1.1: Precisão em Ciência, engenharia e matemática, CritPt v2 (Hard Subset), Terminal-Bench-Science 0.1, HLE-Diamond, Terminal-Bench 4.0, FrontierCode 2.0 e AA-Briefcase v1.1.
Atualmente, Gemini 4 Carbon (High) tem a maior pontuação no Engineering Index: 65 entre os modelos com resultados publicados. Ver modelo
Uma pontuação mais alta no Engineering Index indica melhor desempenho geral nos benchmarks que compõem o índice. Para um caso de uso específico, os resultados de cada benchmark podem ser mais informativos que a pontuação composta.