KI-Trends von Artificial Analysis

Wir berechnen den Artificial Analysis Progress Index v1 mit der Item-Response-Theorie, die anhand unserer Benchmark-Ergebnisse die Fähigkeiten der Modelle und die Schwierigkeit der Aufgaben gemeinsam schätzt. So können wir Modelle im Zeitverlauf vergleichen, auch wenn sie auf unterschiedlichen Benchmarks getestet wurden.

Wir schätzen die Schwierigkeit einer Aufgabe anhand der Modelle, die sie lösen oder daran scheitern. Gleichzeitig schätzen wir die Fähigkeiten jedes Modells anhand seiner Ergebnisse über verschiedene Aufgaben hinweg.

Ein älteres Modell könnte beispielsweise auf leichteren Benchmarks getestet worden sein und ein neueres auf schwierigeren. Modelle, die auf beiden Gruppen von Benchmarks getestet wurden, helfen uns, den Schwierigkeitsunterschied zu schätzen und die älteren und neueren Modelle auf derselben Skala zu vergleichen.

Die Linie jedes KI-Labors zeigt dessen zum jeweiligen Zeitpunkt verfügbares Modell mit der höchsten Punktzahl. Für jedes Modell verwenden wir die Effort-Variante mit der höchsten Punktzahl. Methodik des Progress Index v1 lesen.

Wir berechnen den Artificial Analysis Progress Index v1 mit der Item-Response-Theorie, die anhand unserer Benchmark-Ergebnisse die Fähigkeiten der Modelle und die Schwierigkeit der Aufgaben gemeinsam schätzt. So können wir Modelle im Zeitverlauf vergleichen, auch wenn sie auf unterschiedlichen Benchmarks getestet wurden.

Wir schätzen die Schwierigkeit einer Aufgabe anhand der Modelle, die sie lösen oder daran scheitern. Gleichzeitig schätzen wir die Fähigkeiten jedes Modells anhand seiner Ergebnisse über verschiedene Aufgaben hinweg.

Ein älteres Modell könnte beispielsweise auf leichteren Benchmarks getestet worden sein und ein neueres auf schwierigeren. Modelle, die auf beiden Gruppen von Benchmarks getestet wurden, helfen uns, den Schwierigkeitsunterschied zu schätzen und die älteren und neueren Modelle auf derselben Skala zu vergleichen.

Für jedes Modell zeigen wir die Variante mit der höchsten Punktzahl über alle Effort-Einstellungen hinweg. Methodik des Progress Index v1 lesen.

Wir berechnen den Artificial Analysis Progress Index v1 mit der Item-Response-Theorie, die anhand unserer Benchmark-Ergebnisse die Fähigkeiten der Modelle und die Schwierigkeit der Aufgaben gemeinsam schätzt. So können wir Modelle im Zeitverlauf vergleichen, auch wenn sie auf unterschiedlichen Benchmarks getestet wurden.

Wir schätzen die Schwierigkeit einer Aufgabe anhand der Modelle, die sie lösen oder daran scheitern. Gleichzeitig schätzen wir die Fähigkeiten jedes Modells anhand seiner Ergebnisse über verschiedene Aufgaben hinweg.

Ein älteres Modell könnte beispielsweise auf leichteren Benchmarks getestet worden sein und ein neueres auf schwierigeren. Modelle, die auf beiden Gruppen von Benchmarks getestet wurden, helfen uns, den Schwierigkeitsunterschied zu schätzen und die älteren und neueren Modelle auf derselben Skala zu vergleichen.

Jede Linie zeigt die im Zeitverlauf niedrigsten erreichten Kosten pro Aufgabe im Intelligence Index unter allen Effort-Varianten, die den jeweiligen Schwellenwert im Progress Index v1 erreichen oder überschreiten. Methodik des Progress Index v1 lesen.

Wir berechnen den Artificial Analysis Progress Index v1 mit der Item-Response-Theorie, die anhand unserer Benchmark-Ergebnisse die Fähigkeiten der Modelle und die Schwierigkeit der Aufgaben gemeinsam schätzt. So können wir Modelle im Zeitverlauf vergleichen, auch wenn sie auf unterschiedlichen Benchmarks getestet wurden.

Wir schätzen die Schwierigkeit einer Aufgabe anhand der Modelle, die sie lösen oder daran scheitern. Gleichzeitig schätzen wir die Fähigkeiten jedes Modells anhand seiner Ergebnisse über verschiedene Aufgaben hinweg.

Ein älteres Modell könnte beispielsweise auf leichteren Benchmarks getestet worden sein und ein neueres auf schwierigeren. Modelle, die auf beiden Gruppen von Benchmarks getestet wurden, helfen uns, den Schwierigkeitsunterschied zu schätzen und die älteren und neueren Modelle auf derselben Skala zu vergleichen.

Jede Linie zeigt den im Zeitverlauf niedrigsten erreichten Ausgabepreis unter allen Effort-Varianten, die den jeweiligen Schwellenwert im Progress Index v1 erreichen oder überschreiten. Methodik des Progress Index v1 lesen.

Wir berechnen den Artificial Analysis Progress Index v1 mit der Item-Response-Theorie, die anhand unserer Benchmark-Ergebnisse die Fähigkeiten der Modelle und die Schwierigkeit der Aufgaben gemeinsam schätzt. So können wir Modelle im Zeitverlauf vergleichen, auch wenn sie auf unterschiedlichen Benchmarks getestet wurden.

Wir schätzen die Schwierigkeit einer Aufgabe anhand der Modelle, die sie lösen oder daran scheitern. Gleichzeitig schätzen wir die Fähigkeiten jedes Modells anhand seiner Ergebnisse über verschiedene Aufgaben hinweg.

Ein älteres Modell könnte beispielsweise auf leichteren Benchmarks getestet worden sein und ein neueres auf schwierigeren. Modelle, die auf beiden Gruppen von Benchmarks getestet wurden, helfen uns, den Schwierigkeitsunterschied zu schätzen und die älteren und neueren Modelle auf derselben Skala zu vergleichen.

Jede Linie zeigt die im Zeitverlauf niedrigste erreichte Zeit pro Aufgabe des Intelligence Index unter allen Effort-Varianten, die den jeweiligen Schwellenwert im Progress Index v1 erreichen oder überschreiten. Methodik des Progress Index v1 lesen.

Wir berechnen den Artificial Analysis Progress Index v1 mit der Item-Response-Theorie, die anhand unserer Benchmark-Ergebnisse die Fähigkeiten der Modelle und die Schwierigkeit der Aufgaben gemeinsam schätzt. So können wir Modelle im Zeitverlauf vergleichen, auch wenn sie auf unterschiedlichen Benchmarks getestet wurden.

Wir schätzen die Schwierigkeit einer Aufgabe anhand der Modelle, die sie lösen oder daran scheitern. Gleichzeitig schätzen wir die Fähigkeiten jedes Modells anhand seiner Ergebnisse über verschiedene Aufgaben hinweg.

Ein älteres Modell könnte beispielsweise auf leichteren Benchmarks getestet worden sein und ein neueres auf schwierigeren. Modelle, die auf beiden Gruppen von Benchmarks getestet wurden, helfen uns, den Schwierigkeitsunterschied zu schätzen und die älteren und neueren Modelle auf derselben Skala zu vergleichen.

Jede Linie zeigt die im Zeitverlauf höchste erreichte Ausgabegeschwindigkeit unter allen Effort-Varianten, die den jeweiligen Schwellenwert im Progress Index v1 erreichen oder überschreiten. Methodik des Progress Index v1 lesen.

Wir berechnen den Artificial Analysis Progress Index v1 mit der Item-Response-Theorie, die anhand unserer Benchmark-Ergebnisse die Fähigkeiten der Modelle und die Schwierigkeit der Aufgaben gemeinsam schätzt. So können wir Modelle im Zeitverlauf vergleichen, auch wenn sie auf unterschiedlichen Benchmarks getestet wurden.

Wir schätzen die Schwierigkeit einer Aufgabe anhand der Modelle, die sie lösen oder daran scheitern. Gleichzeitig schätzen wir die Fähigkeiten jedes Modells anhand seiner Ergebnisse über verschiedene Aufgaben hinweg.

Ein älteres Modell könnte beispielsweise auf leichteren Benchmarks getestet worden sein und ein neueres auf schwierigeren. Modelle, die auf beiden Gruppen von Benchmarks getestet wurden, helfen uns, den Schwierigkeitsunterschied zu schätzen und die älteren und neueren Modelle auf derselben Skala zu vergleichen.

Die Linie jedes Landes zeigt dessen zum jeweiligen Zeitpunkt verfügbares Modell mit der höchsten Punktzahl. Für jedes Modell verwenden wir die Effort-Variante mit der höchsten Punktzahl. Methodik des Progress Index v1 lesen.

Wir berechnen den Artificial Analysis Progress Index v1 mit der Item-Response-Theorie, die anhand unserer Benchmark-Ergebnisse die Fähigkeiten der Modelle und die Schwierigkeit der Aufgaben gemeinsam schätzt. So können wir Modelle im Zeitverlauf vergleichen, auch wenn sie auf unterschiedlichen Benchmarks getestet wurden.

Wir schätzen die Schwierigkeit einer Aufgabe anhand der Modelle, die sie lösen oder daran scheitern. Gleichzeitig schätzen wir die Fähigkeiten jedes Modells anhand seiner Ergebnisse über verschiedene Aufgaben hinweg.

Ein älteres Modell könnte beispielsweise auf leichteren Benchmarks getestet worden sein und ein neueres auf schwierigeren. Modelle, die auf beiden Gruppen von Benchmarks getestet wurden, helfen uns, den Schwierigkeitsunterschied zu schätzen und die älteren und neueren Modelle auf derselben Skala zu vergleichen.

Die Linie jedes Landes zeigt dessen zum jeweiligen Zeitpunkt verfügbares Open-Weights-Modell mit der höchsten Punktzahl. Für jedes Modell verwenden wir die Effort-Variante mit der höchsten Punktzahl. Methodik des Progress Index v1 lesen.

Wir berechnen den Artificial Analysis Progress Index v1 mit der Item-Response-Theorie, die anhand unserer Benchmark-Ergebnisse die Fähigkeiten der Modelle und die Schwierigkeit der Aufgaben gemeinsam schätzt. So können wir Modelle im Zeitverlauf vergleichen, auch wenn sie auf unterschiedlichen Benchmarks getestet wurden.

Wir schätzen die Schwierigkeit einer Aufgabe anhand der Modelle, die sie lösen oder daran scheitern. Gleichzeitig schätzen wir die Fähigkeiten jedes Modells anhand seiner Ergebnisse über verschiedene Aufgaben hinweg.

Ein älteres Modell könnte beispielsweise auf leichteren Benchmarks getestet worden sein und ein neueres auf schwierigeren. Modelle, die auf beiden Gruppen von Benchmarks getestet wurden, helfen uns, den Schwierigkeitsunterschied zu schätzen und die älteren und neueren Modelle auf derselben Skala zu vergleichen.

Jede Linie zeigt das zum jeweiligen Zeitpunkt verfügbare Modell mit der höchsten Punktzahl innerhalb der jeweiligen Lizenzkategorie. Für jedes Modell verwenden wir die Effort-Variante mit der höchsten Punktzahl. Methodik des Progress Index v1 lesen.

Wir berechnen den Artificial Analysis Progress Index v1 mit der Item-Response-Theorie, die anhand unserer Benchmark-Ergebnisse die Fähigkeiten der Modelle und die Schwierigkeit der Aufgaben gemeinsam schätzt. So können wir Modelle im Zeitverlauf vergleichen, auch wenn sie auf unterschiedlichen Benchmarks getestet wurden.

Wir schätzen die Schwierigkeit einer Aufgabe anhand der Modelle, die sie lösen oder daran scheitern. Gleichzeitig schätzen wir die Fähigkeiten jedes Modells anhand seiner Ergebnisse über verschiedene Aufgaben hinweg.

Ein älteres Modell könnte beispielsweise auf leichteren Benchmarks getestet worden sein und ein neueres auf schwierigeren. Modelle, die auf beiden Gruppen von Benchmarks getestet wurden, helfen uns, den Schwierigkeitsunterschied zu schätzen und die älteren und neueren Modelle auf derselben Skala zu vergleichen.

Für jedes Modell zeigen wir die Variante mit der höchsten Punktzahl über alle Effort-Einstellungen hinweg. Methodik des Progress Index v1 lesen.