Artificial Analysis Progress Index v1
Der Artificial Analysis Progress Index v1 ist eine einheitliche Fähigkeitsskala für Sprachmodelle seit 2022. Er nutzt die Item-Response-Theorie, ein statistisches Verfahren zur Auswertung standardisierter Tests, um aus unseren Evaluierungsergebnissen für jedes Modell einen allgemeinen Fähigkeitswert zu schätzen, einschließlich Evaluierungen, die ausgemustert wurden oder nie Teil des Intelligence Index waren.
Der Intelligence Index nutzt die Evaluierungen, die für Entwickler heute am relevantesten sind. Seine Zusammensetzung ändert sich daher, wenn Evaluierungen hinzukommen oder wegfallen, und Werte aus verschiedenen Versionen lassen sich nicht vergleichen. Nutzen Sie den Intelligence Index, um heute ein Modell auszuwählen, und den Progress Index v1, um zu sehen, wie sich die Fähigkeiten im Zeitverlauf verändert haben.
Der Progress Index v1 baut auf früheren Arbeiten auf, die Modelle auf einer einheitlichen Fähigkeitsskala einordnen, insbesondere auf dem Epoch Capabilities Index von Epoch AI und der Fähigkeitsskala, die Anthropic in der System Card zu Claude Mythos Preview veröffentlicht hat.