Comparação de modelos grandes de IA de pesos abertos (>150B)

Name: Abertura
Creator: Artificial Analysis
License: https://artificialanalysis.ai/docs/legal/Terms-of-Use.pdf

Modelos de IA de pesos abertos com mais de 150B parâmetros.

Os modelos são considerados de pesos abertos (também chamados frequentemente de código aberto) quando seus pesos estão disponíveis para download. Isso permite a auto-hospedagem em sua própria infraestrutura e a personalização do modelo, por exemplo, por meio de ajuste fino.

Para mais detalhes sobre nossa metodologia, consulte as perguntas frequentes.

Kimi K3.1 Pro e

DeepSeek V4.1 Flash 1017 (max) têm as maiores pontuações no Artificial Analysis Progress Index v1 entre os modelos grandes de pesos abertos, definidos como aqueles com >150B parâmetros, seguidos por

GLM-5.3 (max) e

Ling 3.1 Flash 1019.

Abertura

Artificial Analysis Openness Index · Higher is better

Progress Index

Artificial Analysis Progress Index v1 · Higher is better

Parâmetros totais

Parâmetros treináveis em bilhões

Abertura

Artificial Analysis Openness Index: pontuação

O Openness Index avalia a abertura dos modelos em uma escala normalizada de 0 a 100 (quanto maior, mais aberto)

Inteligência

Artificial Analysis Progress Index

Artificial Analysis Progress Index v1 is an item response theory estimate of general capability across Artificial Analysis evaluations

Calculamos o Artificial Analysis Progress Index v1 com a teoria de resposta ao item, que estima em conjunto a capacidade dos modelos e a dificuldade das tarefas a partir dos nossos resultados de benchmarks. Isso nos permite comparar, ao longo do tempo, modelos avaliados em benchmarks diferentes.

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Por exemplo, um modelo mais antigo pode ter sido avaliado em benchmarks mais fáceis e um mais recente em benchmarks mais difíceis. Os modelos avaliados nos dois conjuntos nos ajudam a estimar a diferença de dificuldade e a comparar os modelos antigos e recentes na mesma escala.

Cada variante de esforço é exibida como um modelo separado. Leia a metodologia do Progress Index v1.

Evaluations

Evaluations measured independently by Artificial Analysis · AA-PersonalityBench scores are percentile ranks from 1 to 100

Ver mais

AA-Briefcase v1.1

Agentic knowledge work, Elo

AA-Omniscience v1.1 Accuracy

Knowledge

AA-Omniscience v1.1 Non-Hallucination Rate

1 - hallucination rate

AutomationBench-AA

Agentic SaaS workflows

Terminal-Bench-Science 0.1

Agentic scientific research workflows in a terminal

FrontierCode-AA 2.0

Agentic software engineering in open-source repositories

HLE-Diamond

Reasoning & knowledge

GDP.pdf

Professional document reasoning, All-pass

Terminal-Bench 4.0

Agentic coding & terminal use

CritPt v2 (Hard Subset)

Physics reasoning

AA-AnalystAgent

Quantitative analysis on spreadsheets & documents

Harvey LAB-AA v1.1

Legal agentic work, Hallucination-Gated All-Pass Rate

EnterpriseOps-Gym-AA

Agentic business operations

GDPval-AA v2.1

Agentic real-world work tasks, Elo

AA-3D

Agentic interactive 3D experiences, Elo

Code2Video-AA

Product and brand videos designed in code, Elo

ITBench-AA

Kubernetes incident root-cause analysis

MLCR-AA

Medical long context reasoning

MMMU-Pro

Visual reasoning

AA-PersonalityBench: Expressiveness Score

Rich, varied, well-crafted language

AA-PersonalityBench: Organization Score

Well-structured, scannable, answer-first

AA-PersonalityBench: Transparency Score

Truthful, acknowledges uncertainty, non-sycophantic

AA-PersonalityBench: Slop Score

Use of filler and generic language

While model intelligence generally translates across use cases, specific evaluations may be more relevant for certain use cases.

Artificial Analysis Intelligence Index v5.0.1 includes: AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 (Hard Subset), Terminal-Bench-Science 0.1. See Intelligence Index methodology for further details, including a breakdown of each evaluation and how we run them.

Tamanho

Tamanho do modelo: parâmetros totais e ativos

Comparison between total model parameters and parameters active during inference (billions)

The total number of trainable weights and biases in the model, expressed in billions. These parameters are learned during training and determine the model's ability to process and generate responses.

The number of parameters actually executed during each inference forward pass, expressed in billions. For Mixture of Experts (MoE) models, a routing mechanism selects a subset of experts per token, resulting in fewer active than total parameters. Dense models use all parameters, so active equals total.

Progress Index vs. parâmetros ativos

Artificial Analysis Progress Index v1 · Active parameters at inference time (billions)

Most attractive quadrant

Pareto line

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Cada variante de esforço é exibida como um modelo separado. Leia a metodologia do Progress Index v1.

Progress Index vs. parâmetros totais

Artificial Analysis Progress Index v1 · Size in parameters (billions)

Most attractive quadrant

Pareto line

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Cada variante de esforço é exibida como um modelo separado. Leia a metodologia do Progress Index v1.

The total number of trainable weights and biases in the model, expressed in billions. These parameters are learned during training and determine the model's ability to process and generate responses.

Janela de contexto

Context window: tokens limit · Higher is better

Larger context windows are relevant to RAG (Retrieval Augmented Generation) LLM workflows which typically involve reasoning and information retrieval of large amounts of data.

Maximum number of combined input & output tokens. Output tokens commonly have a significantly lower limit (varied by model).

Mais detalhes

								Pesos		Benchmarks de provedores
Kimi K3.1 Pro	Kimi	341	2.8T 104B ativos durante a inferência	1M	$1.54	40.1	30	🤗	+16	Ver
DeepSeek V4.1 Flash 1017 (Max)	DeepSeek	324	552B 16B ativos durante a inferência	1M	$0.18	13.5	171	🤗	+23	Ver
GLM-5.3 (Max)	Z AI	323	753B 40B ativos durante a inferência	1M	$0.90	23.6	84	🤗	+27	Ver
Ling 3.1 Flash 1019	InclusionAI	322	560B 25B ativos durante a inferência	1M	$0.19	-	-	🤗		Ver
MiMo-V2.6-Pro	Xiaomi	321	1T 42B ativos durante a inferência	1M	$0.18	36.1	56	🤗		Ver
Qwen3.8-Flash-Next	Alibaba	320	180B 6B ativos durante a inferência	256k	$0.0882	31.9	77	🤗		Ver
Ling 3.1 Flash	InclusionAI	320	560B 25B ativos durante a inferência	1M	$0.19	-	90	🤗		Ver
DeepSeek V4.1 Flash 1017 (High)	DeepSeek	319	552B 16B ativos durante a inferência	1M	$0.18	10.7	172	🤗		Ver
GLM-5.3-Flash	Z AI	319	320B 18B ativos durante a inferência	1M	$0.10	45.1	50	🤗	+23	Ver
Step 5 Preview	StepFun	318	600B 27B ativos durante a inferência	1M	$0.54	14.8	128	🤗		Ver
Qwen3.8 2.4T A95B	Alibaba	318	2.4T 95B ativos durante a inferência	262k	$1.18	-	39	🤗	+2	Ver
MiniMax-M3.1-Flash	MiniMax	318	428B 23B ativos durante a inferência	1M	$0.10	15.7	147	🤗	+10	Ver

Comparação de modelos grandes de IA de pesos abertos (>150B)

Abertura

Progress Index

Parâmetros totais

Abertura

Artificial Analysis Openness Index: pontuação

Inteligência

Artificial Analysis Progress Index

Como o Progress Index v1 é calculado

Evaluations

Intelligence Evaluation Relevance

Artificial Analysis Intelligence Index

Tamanho

Tamanho do modelo: parâmetros totais e ativos

Total Parameters

Active Parameters at Inference Time

Progress Index vs. parâmetros ativos

Como o Progress Index v1 é calculado

Active Parameters at Inference Time

Progress Index vs. parâmetros totais

Como o Progress Index v1 é calculado

Total Parameters

Janela de contexto

Janela de contexto

Context Window for RAG

Context Window

Mais detalhes