Todos los lanzamientos

Beam 1.0 vs. Inkling: comparación de lanzamientos

Comparación de los lanzamientos Beam 1.0 y Inkling: 1 modelo y 2 modelos respectivamente, cada uno con distintas características de inteligencia, rendimiento y precio. A continuación se comparan las métricas clave de los 3 modelos.

  • En inteligencia, Beam 1.0 obtiene la puntuación más alta, con 18, frente a Inkling (Xhigh), con 12 de Inkling.
  • En tiempo por tarea, Beam 1.0 es el más rápido, con 2.2 min, frente a Inkling (Xhigh), con 8.1 min de Inkling.
  • En costo por tarea, Beam 1.0 es el más económico, con $0.28, frente a Inkling (High), con $0.62 de Inkling.
Playground de modelos

Lanzamientos comparados

Beam 1.0Inkling (xhigh)Inkling (high)
Intelligence Index
18
12
11
Finanzas y contabilidad
30
23
22
Estrategia y operaciones
34
19
18
Jurídico
28
23
22
Salud y medicina
31
18
--
Costo por tareaUSD
$0.28
$1.35
$0.62
Tiempo por tareaMinutos
2.2
8.1
--
Tiempo hasta el primer token de respuestas
7.30
14.63
--
Ventana de contexto
1M
1M
1M
Creador
Reflection
Thinking Machines
Thinking Machines
Licencia
Abierto
Abierto
Abierto
Modalidad de entrada

Admite: texto

Admite: texto, imágenes y voz

Admite: texto, imágenes y voz

Modalidad de salida

Admite: texto

Admite: texto

Admite: texto

Proveedores
DeepInfraTogether AIModalThinking Machines
Thinking Machines
Artificial Analysis Intelligence Index · Higher is better
Inference time (minutes) per Intelligence Index task · Lower is better
Weighted average cost (USD) per Intelligence Index task · Lower is better

Inteligencia

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v5.0.1 incorporates 9 evaluations: AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 (Hard Subset), and Terminal-Bench-Science 0.1

Intelligence Index vs. costo por tarea

Artificial Analysis Intelligence Index · Weighted average cost (USD) per Artificial Analysis Intelligence Index task
Most attractive quadrant
Inkling
Pareto line

Costo por tarea (USD, escala logarítmica)

Costo

Costo por tarea del Intelligence Index

Weighted average cost (USD) per Intelligence Index task · Segmented by token type · Lower is better

Rendimiento

Tiempo por tarea del Intelligence Index

Output tokens divided by end-to-end output speed (minutes per Intelligence Index task) · Speed at the model's own endpoint or the median across providers · Lower is better

Puntuaciones de capacidades

Índices de capacidades

Mide el rendimiento de los modelos en capacidades e industrias específicas
Finance & Accounting Index

Incorporates 5 evaluations: AA-Briefcase v1.1, AA-Omniscience v1.1, HLE-Diamond, AutomationBench-AA, GDP.pdf · Higher is better

Strategy & Ops Index

Incorporates 4 evaluations: AutomationBench-AA, AA-Briefcase v1.1, AA-Omniscience v1.1, GDP.pdf · Higher is better

Legal Index

Incorporates 5 evaluations: AA-Omniscience v1.1, AA-Briefcase v1.1, HLE-Diamond, GDP.pdf, AutomationBench-AA · Higher is better

Healthcare & Medical Index

Incorporates 5 evaluations: AA-Omniscience v1.1, AA-Briefcase v1.1, MLCR-AA, AutomationBench-AA, HLE-Diamond · Higher is better

Engineering Index

Incorporates 7 evaluations: AA-Omniscience v1.1, CritPt v2 (Hard Subset), Terminal-Bench-Science 0.1, HLE-Diamond, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Briefcase v1.1 · Higher is better

Economics Index

Incorporates 4 evaluations: AA-Omniscience v1.1, AA-Briefcase v1.1, HLE-Diamond, GDP.pdf · Higher is better

AA-PersonalityBench

vs.

AA-PersonalityBench: índice Expressiveness, Beam 1.0 vs. Inkling (xhigh)

Probabilidad de que la respuesta de cada modelo sea juzgada como la que muestra más cada rasgo, según su diferencia de Elo · 50 % es un empate
ReflectionBeam 1.0Thinking MachinesInkling (xhigh)
Metaphorical
12%
88%
Natural Sounding
25%
75%
Eloquent
28%
72%
Lexically Varied
28%
72%
Literate
36%
64%