Vergleich von Modellen mit offenen Gewichten

Wir berechnen den Artificial Analysis Progress Index v1 mit der Item-Response-Theorie, die anhand unserer Benchmark-Ergebnisse die Fähigkeiten der Modelle und die Schwierigkeit der Aufgaben gemeinsam schätzt. So können wir Modelle im Zeitverlauf vergleichen, auch wenn sie auf unterschiedlichen Benchmarks getestet wurden.

Wir schätzen die Schwierigkeit einer Aufgabe anhand der Modelle, die sie lösen oder daran scheitern. Gleichzeitig schätzen wir die Fähigkeiten jedes Modells anhand seiner Ergebnisse über verschiedene Aufgaben hinweg.

Ein älteres Modell könnte beispielsweise auf leichteren Benchmarks getestet worden sein und ein neueres auf schwierigeren. Modelle, die auf beiden Gruppen von Benchmarks getestet wurden, helfen uns, den Schwierigkeitsunterschied zu schätzen und die älteren und neueren Modelle auf derselben Skala zu vergleichen.

Jede Linie zeigt das zum jeweiligen Zeitpunkt verfügbare Modell mit der höchsten Punktzahl innerhalb der jeweiligen Lizenzkategorie. Für jedes Modell verwenden wir die Effort-Variante mit der höchsten Punktzahl. Methodik des Progress Index v1 lesen.

Wir berechnen den Artificial Analysis Progress Index v1 mit der Item-Response-Theorie, die anhand unserer Benchmark-Ergebnisse die Fähigkeiten der Modelle und die Schwierigkeit der Aufgaben gemeinsam schätzt. So können wir Modelle im Zeitverlauf vergleichen, auch wenn sie auf unterschiedlichen Benchmarks getestet wurden.

Wir schätzen die Schwierigkeit einer Aufgabe anhand der Modelle, die sie lösen oder daran scheitern. Gleichzeitig schätzen wir die Fähigkeiten jedes Modells anhand seiner Ergebnisse über verschiedene Aufgaben hinweg.

Ein älteres Modell könnte beispielsweise auf leichteren Benchmarks getestet worden sein und ein neueres auf schwierigeren. Modelle, die auf beiden Gruppen von Benchmarks getestet wurden, helfen uns, den Schwierigkeitsunterschied zu schätzen und die älteren und neueren Modelle auf derselben Skala zu vergleichen.

Die Linie jedes KI-Labors zeigt dessen zum jeweiligen Zeitpunkt verfügbares Open-Weights-Modell mit der höchsten Punktzahl. Für jedes Modell verwenden wir die Effort-Variante mit der höchsten Punktzahl. Methodik des Progress Index v1 lesen.

Wir berechnen den Artificial Analysis Progress Index v1 mit der Item-Response-Theorie, die anhand unserer Benchmark-Ergebnisse die Fähigkeiten der Modelle und die Schwierigkeit der Aufgaben gemeinsam schätzt. So können wir Modelle im Zeitverlauf vergleichen, auch wenn sie auf unterschiedlichen Benchmarks getestet wurden.

Wir schätzen die Schwierigkeit einer Aufgabe anhand der Modelle, die sie lösen oder daran scheitern. Gleichzeitig schätzen wir die Fähigkeiten jedes Modells anhand seiner Ergebnisse über verschiedene Aufgaben hinweg.

Ein älteres Modell könnte beispielsweise auf leichteren Benchmarks getestet worden sein und ein neueres auf schwierigeren. Modelle, die auf beiden Gruppen von Benchmarks getestet wurden, helfen uns, den Schwierigkeitsunterschied zu schätzen und die älteren und neueren Modelle auf derselben Skala zu vergleichen.

Jede Linie zeigt das zum jeweiligen Zeitpunkt verfügbare Open-Weights-Modell mit der höchsten Punktzahl innerhalb der jeweiligen Größenkategorie. Für jedes Modell verwenden wir die Effort-Variante mit der höchsten Punktzahl. Methodik des Progress Index v1 lesen.