Base Labs

Lanzamiento octubre de 2026

Mammoth 27B: lanzamiento, puntuación en el Decision Index, rendimiento y precio

Name: Artificial Analysis Decision Index
Creator: Artificial Analysis
License: https://artificialanalysis.ai/docs/legal/Terms-of-Use.pdf

Visitar Base Labs

En comparación con otros modelos de decisión, Mammoth 27B está entre los líderes en el Decision Index, pero tiene un precio algo elevado. También es notablemente rápido. El modelo admite entrada de texto e imagen y tiene una ventana de contexto de 16k tokens.

Mammoth 27B obtiene 72 puntos en el Artificial Analysis Decision Index, lo que lo sitúa muy por encima del promedio entre los modelos de decisión (mediana: 64).

Con 96 ms por tarea, Mammoth 27B es notablemente rápido (mediana: 209 ms).

El precio de Mammoth 27B es de 0,10 US$ por 1 M de tokens de entrada. En promedio, ejecutar Mammoth 27B en el Decision Index cuesta $262 por 1 M de tareas (algo elevado; mediana: $142).

Creador	Base Labs
Proveedor	Base Labs
Modalidad de entrada	Admite: texto e imágenes
Ventana de contexto	16k
Precio de entrada	0,10 US$ por 1 millón de tokens

Puntuación

Artificial Analysis Decision Index

Weighted average of the Decision Score on AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1, and HLE-MultiChoice v1.1, and the Symmetry Score on AA-Symmetry · Accuracy less the Brier score of the chosen answer's probability, from 0 to 100 where 100 is certain and right · Higher is better

Incluir modelos de lenguaje

Accuracy less the Brier score of the probability the model gives its chosen answer, from 0 to 100. Each question scores 50 × (1 + c − (p − c)²), where p is that probability and c is 1 if the answer is right: from 50 to 100 when right and from 50 down to 0 when wrong, more so the more confident the model. It is the payoff of answering when p is above a threshold and routing the question elsewhere otherwise, averaged over every threshold. Probability on "I don't know" lowers p. AA-Paperclip scores each document as one decision.

Whether a decision holds when a question is reworded, from 0 to 100. Each AA-Symmetry question scores 0 if the most probable option changes between its forms, and otherwise 1 less the range across forms of that option's probability above chance, (p − 1/K) / (1 − 1/K) for K options: 1 when it never moves.

Artificial Analysis Decision Index vs. costo por 1 millón de tareas

Artificial Analysis Decision Index score vs. average cost per 1 million tasks (USD)

Incluir modelos de lenguaje

Most attractive quadrant

Pareto line

Average cost per task at current token prices, multiplied by 1 million; for the index, each evaluation's cost per task averaged with the index's weights, multiplied by 1 million. Decision models are billed for input tokens only, and language models for input and output tokens.

Precisión

Esta sección muestra la métrica principal de cada evaluación y comienza con su promedio ponderado. En las pestañas de Precisión, la precisión es la proporción de preguntas en las que la opción a la que el modelo asigna la mayor probabilidad es correcta.

Artificial Analysis Decision Index: Métricas principales

Weighted average of the headline metrics of AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1, HLE-MultiChoice v1.1, and AA-Symmetry · Higher is better

Incluir modelos de lenguaje

Calibración

Artificial Analysis Decision Index: puntuación de Brier

Mean squared gap between the chosen answer's probability and whether it is right, from 0 to 1 · AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1, and HLE-MultiChoice v1.1 averaged with the index's weights · Lower is better

Incluir modelos de lenguaje

The mean squared gap between the probability a model gives its chosen answer and whether that answer is right, from 0 to 1; 0 is certain and always right. For AA-Paperclip, each document's confidence that all its answers are right against whether they are. For the index, the evaluations' Brier scores averaged with the index's weights, rescaled to sum to 1.

Artificial Analysis Decision Index: calibración

Precisión frente a la probabilidad que el modelo asignó a la respuesta elegida · Intervalos de 0.1 con al menos 20 respuestas · Cada benchmark ponderado por igual · Sin las respuestas en las que se abstuvo

Incluir modelos de lenguaje

Tiempo

Artificial Analysis Decision Index: tiempo por tarea

Each evaluation's median time per task, averaged with the index's weights · Lower is better

Incluir modelos de lenguaje

Median latency per task, in milliseconds; for the index, each evaluation's median averaged with the index's weights.

Costo

Artificial Analysis Decision Index: costo por 1 millón de tareas

Average cost per 1 million tasks across all Artificial Analysis Decision Index evaluations at current prices (USD) · Lower is better

Incluir modelos de lenguaje

Mammoth 27B: lanzamiento, puntuación en el Decision Index, rendimiento y precio

Resumen del modelo

Decision Index

Tiempo

Costo

Resumen comparativo

Especificaciones técnicas

Puntuación

Artificial Analysis Decision Index

Decision Score

Decision Symmetry Score

Artificial Analysis Decision Index vs. costo por 1 millón de tareas

Decision Cost per 1M Tasks

Precisión

Artificial Analysis Decision Index: Métricas principales

Calibración

Artificial Analysis Decision Index: puntuación de Brier

Decision Brier Score

Artificial Analysis Decision Index: calibración

Tiempo

Artificial Analysis Decision Index: tiempo por tarea

Decision Time per Task

Costo

Artificial Analysis Decision Index: costo por 1 millón de tareas

Decision Cost per 1M Tasks