Todos los lanzamientos

Muse Spark 1.3 vs. Hermes 4 - Llama-3.1 405B: comparación de lanzamientos

Comparación de los lanzamientos Muse Spark 1.3 y Hermes 4 - Llama-3.1 405B: 2 y 2 modelos respectivamente, cada uno con distintas características de inteligencia, rendimiento y precio. A continuación se comparan las métricas clave de los 4 modelos.

  • En inteligencia, Muse Spark 1.3 obtiene la puntuación más alta: Muse Spark 1.3 (Max), con 48, frente a Hermes 4 - Llama-3.1 405B (Reasoning), con 7 de Hermes 4 - Llama-3.1 405B.
  • En velocidad de salida, Muse Spark 1.3 es el más rápido: Muse Spark 1.3 (Xhigh), con 250 tokens/s, frente a Hermes 4 - Llama-3.1 405B (Reasoning), con 41 tokens/s de Hermes 4 - Llama-3.1 405B.
Playground de modelos

Lanzamientos comparados

Muse Spark 1.3 (max)Muse Spark 1.3 (xhigh)Hermes 4 405BHermes 4 405B (non-reasoning)
Intelligence Index
48
45
7*
7*
Finanzas y contabilidad
50
48
--
--
Estrategia y operaciones
51
49
--
--
Jurídico
51
49
--
--
Salud y medicina
50
--
--
--
Costo por tareaUSD
$1.60
$1.37
--
--
Velocidad de salidaTokens/s
127
250
41
38
Tiempo hasta el primer tokens
41,59
21,64
2,35
2,34
Ventana de contexto
1M
1M
128k
128k
Creador
Meta
Meta
Nous Research
Nous Research
Licencia
Propietario
Propietario
Abierto
Abierto
Modalidad de entrada

Admite: texto, imágenes y video

Admite: texto, imágenes y video

Admite: texto

Admite: texto

Modalidad de salida

Admite: texto

Admite: texto

Admite: texto

Admite: texto

Proveedores
Meta
Meta
Nebius
Nebius

* Estimado

Inteligencia

Artificial Analysis Intelligence Index · Higher is better

Velocidad

Output tokens per second · Higher is better

Costo por tarea

Weighted average cost (USD) per Intelligence Index task · Lower is better

Inteligencia

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 incorporates 10 evaluations: AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA, Terminal-Bench 4.0, SciCode, Humanity's Last Exam, GDP.pdf, CritPt, AA-Omniscience, AA-LCR v1.1
No publicly available API
Estimate (independent evaluation forthcoming)

Intelligence Index vs. costo por tarea del Intelligence Index

Artificial Analysis Intelligence Index · Weighted average cost (USD) per Artificial Analysis Intelligence Index task
Most attractive quadrant
Muse Spark 1.3
Pareto line
AA-Briefcase v1.1
GDPval-AA v2.1

Costo por tarea (USD, escala logarítmica)

Costo

Costo por tarea del Intelligence Index

Weighted average cost (USD) per Artificial Analysis Intelligence Index task, segmented by token type. Lower is better
No publicly available API

Velocidad y latencia

Velocidad de salida

Output tokens per second · Higher is better

Puntuaciones de capacidades

Índices de capacidades

Mide el rendimiento de los modelos en capacidades e industrias específicas
Finance & Accounting Index

Incorporates 7 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, Humanity's Last Exam, AutomationBench-AA, AA-LCR v1.1, GDP.pdf · Higher is better

Strategy & Ops Index

Incorporates 6 evaluations: GDPval-AA v2.1, AA-Briefcase v1.1, AA-Omniscience, AutomationBench-AA, AA-LCR v1.1, GDP.pdf · Higher is better

Legal Index

Incorporates 7 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, Humanity's Last Exam, AA-LCR v1.1, GDP.pdf, AutomationBench-AA · Higher is better

Healthcare & Medical Index

Incorporates 6 evaluations: AA-Omniscience, GDPval-AA v2.1, AA-Briefcase v1.1, MLCR-AA, Humanity's Last Exam, AutomationBench-AA · Higher is better

Engineering Index

Incorporates 6 evaluations: AA-Omniscience, Humanity's Last Exam, CritPt, GDPval-AA v2.1, AA-Briefcase v1.1, Terminal-Bench 4.0 · Higher is better

Economics Index

Incorporates 5 evaluations: AA-Omniscience, Humanity's Last Exam, GDPval-AA v2.1, AA-Briefcase v1.1, AA-LCR v1.1 · Higher is better