Comparação de modelos pequenos de IA de pesos abertos (4B-40B)

Name: Abertura
Creator: Artificial Analysis
License: https://artificialanalysis.ai/docs/legal/Terms-of-Use.pdf

Modelos de IA de pesos abertos com 4B a 40B parâmetros.

Os modelos são considerados de pesos abertos (também chamados frequentemente de código aberto) quando seus pesos estão disponíveis para download. Isso permite a auto-hospedagem em sua própria infraestrutura e a personalização do modelo, por exemplo, por meio de ajuste fino.

Para mais detalhes sobre nossa metodologia, consulte as perguntas frequentes.

Nanbeige4.3-33B e

Qwen3.8 27B (xhigh) têm as maiores pontuações no Artificial Analysis Progress Index v1 entre os modelos pequenos de pesos abertos, definidos como aqueles com 4B-40B parâmetros, seguidos por

Qwen3.8 27B (medium) e

Qwen3.8 27B (low).

Abertura

Artificial Analysis Openness Index · Higher is better

Progress Index

Artificial Analysis Progress Index v1 · Higher is better

Parâmetros totais

Parâmetros treináveis em bilhões

Abertura

Artificial Analysis Openness Index: pontuação

O Openness Index avalia a abertura dos modelos em uma escala normalizada de 0 a 100 (quanto maior, mais aberto)

Inteligência

Artificial Analysis Progress Index

Artificial Analysis Progress Index v1 is an item response theory estimate of general capability across Artificial Analysis evaluations

Calculamos o Artificial Analysis Progress Index v1 com a teoria de resposta ao item, que estima em conjunto a capacidade dos modelos e a dificuldade das tarefas a partir dos nossos resultados de benchmarks. Isso nos permite comparar, ao longo do tempo, modelos avaliados em benchmarks diferentes.

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Por exemplo, um modelo mais antigo pode ter sido avaliado em benchmarks mais fáceis e um mais recente em benchmarks mais difíceis. Os modelos avaliados nos dois conjuntos nos ajudam a estimar a diferença de dificuldade e a comparar os modelos antigos e recentes na mesma escala.

Cada variante de esforço é exibida como um modelo separado. Leia a metodologia do Progress Index v1.

Evaluations

Evaluations measured independently by Artificial Analysis · AA-PersonalityBench scores are percentile ranks from 1 to 100

Ver mais

AA-Briefcase v1.1

Agentic knowledge work, Elo

AA-Omniscience v1.1 Accuracy

Knowledge

AA-Omniscience v1.1 Non-Hallucination Rate

1 - hallucination rate

AutomationBench-AA

Agentic SaaS workflows

Terminal-Bench-Science 0.1

Agentic scientific research workflows in a terminal

FrontierCode-AA 2.0

Agentic software engineering in open-source repositories

HLE-Diamond

Reasoning & knowledge

GDP.pdf

Professional document reasoning, All-pass

Terminal-Bench 4.0

Agentic coding & terminal use

CritPt v2 (Hard Subset)

Physics reasoning

AA-AnalystAgent

Quantitative analysis on spreadsheets & documents

Harvey LAB-AA v1.1

Legal agentic work, Hallucination-Gated All-Pass Rate

No data available

EnterpriseOps-Gym-AA

Agentic business operations

GDPval-AA v2.1

Agentic real-world work tasks, Elo

AA-3D

Agentic interactive 3D experiences, Elo

No data available

Code2Video-AA

Product and brand videos designed in code, Elo

ITBench-AA

Kubernetes incident root-cause analysis

MLCR-AA

Medical long context reasoning

MMMU-Pro

Visual reasoning

AA-PersonalityBench: Expressiveness Score

Rich, varied, well-crafted language

AA-PersonalityBench: Organization Score

Well-structured, scannable, answer-first

AA-PersonalityBench: Transparency Score

Truthful, acknowledges uncertainty, non-sycophantic

AA-PersonalityBench: Slop Score

Use of filler and generic language

While model intelligence generally translates across use cases, specific evaluations may be more relevant for certain use cases.

Artificial Analysis Intelligence Index v5.0.1 includes: AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 (Hard Subset), Terminal-Bench-Science 0.1. See Intelligence Index methodology for further details, including a breakdown of each evaluation and how we run them.

Tamanho

Tamanho do modelo: parâmetros totais e ativos

Comparison between total model parameters and parameters active during inference (billions)

The total number of trainable weights and biases in the model, expressed in billions. These parameters are learned during training and determine the model's ability to process and generate responses.

The number of parameters actually executed during each inference forward pass, expressed in billions. For Mixture of Experts (MoE) models, a routing mechanism selects a subset of experts per token, resulting in fewer active than total parameters. Dense models use all parameters, so active equals total.

Progress Index vs. parâmetros ativos

Artificial Analysis Progress Index v1 · Active parameters at inference time (billions)

Most attractive quadrant

Pareto line

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Cada variante de esforço é exibida como um modelo separado. Leia a metodologia do Progress Index v1.

Progress Index vs. parâmetros totais

Artificial Analysis Progress Index v1 · Size in parameters (billions)

Most attractive quadrant

Pareto line

Estimamos a dificuldade de cada tarefa com base em quais modelos a resolvem ou falham, enquanto estimamos a capacidade de cada modelo a partir de seus resultados em diferentes tarefas.

Cada variante de esforço é exibida como um modelo separado. Leia a metodologia do Progress Index v1.

The total number of trainable weights and biases in the model, expressed in billions. These parameters are learned during training and determine the model's ability to process and generate responses.

Janela de contexto

Context window: tokens limit · Higher is better

Larger context windows are relevant to RAG (Retrieval Augmented Generation) LLM workflows which typically involve reasoning and information retrieval of large amounts of data.

Maximum number of combined input & output tokens. Output tokens commonly have a significantly lower limit (varied by model).

Mais detalhes

								Pesos		Benchmarks de provedores
Nanbeige4.3-33B	Nanbeige	306	33B	524k	-	-	-	🤗	-	Ver
Qwen3.8 27B (Xhigh)	Alibaba	303	27B	256k	$0.47	42.7	43	🤗	+7	Ver
Qwen3.8 27B (Medium)	Alibaba	290	27B	256k	$0.47	32.8	44	🤗		Ver
Qwen3.8 27B (Low)	Alibaba	283	27B	256k	$0.47	30.4	44	🤗		Ver
K2 Horizon MoVA 36B A4B	Institute of Foundation Models	281	36B 4B ativos durante a inferência	524k	-	-	-	🤗	-	Ver
Muse Glimmer (High)	Meta	267	30B	131k	$0.23	5.2	83	🤗		Ver
K2 Horizon 7B	Institute of Foundation Models	263	7B	524k	-	-	-	🤗	-	Ver
Qwen3.8 27B (Non-reasoning)	Alibaba	262	27B	256k	$0.47	18.3	41	🤗	+4	Ver
Qwen3.6 35B A3B (Reasoning)	Alibaba	261	36B 3B ativos durante a inferência	262k	$0.56	-	116	🤗	+5	Ver
G9v3-39A5B	AI9Stars	257	39B 5B ativos durante a inferência	131k	-	-	-	🤗	-	Ver
Gemma 4 31B (Reasoning)	Google	254	30.7B	256k	$0.00	-	30	🤗	+7	Ver
Qwen3.6 35B A3B (Non-reasoning)	Alibaba	246	36B 3B ativos durante a inferência	262k	$0.56	-	100	🤗	+4	Ver

Comparação de modelos pequenos de IA de pesos abertos (4B-40B)

Abertura

Progress Index

Parâmetros totais

Abertura

Artificial Analysis Openness Index: pontuação

Inteligência

Artificial Analysis Progress Index

Como o Progress Index v1 é calculado

Evaluations

Intelligence Evaluation Relevance

Artificial Analysis Intelligence Index

Tamanho

Tamanho do modelo: parâmetros totais e ativos

Total Parameters

Active Parameters at Inference Time

Progress Index vs. parâmetros ativos

Como o Progress Index v1 é calculado

Active Parameters at Inference Time

Progress Index vs. parâmetros totais

Como o Progress Index v1 é calculado

Total Parameters

Janela de contexto

Janela de contexto

Context Window for RAG

Context Window

Mais detalhes