Methodik des Openness Index
Überblick
Der Artificial Analysis Openness Index ist eine zusammengesetzte Metrik, die misst, in welchem Umfang KI-Modelle offen verfügbar und transparent dokumentiert sind. Er berücksichtigt sowohl die Verfügbarkeit der Modellgewichte als auch die Transparenz der zugrunde liegenden Daten und der Methodik, mit denen das Modell erstellt wurde.
Jedes Modell wird anhand aller öffentlich verfügbaren Erstanbieterinformationen bewertet. Modelle, die auf einem Basismodell eines Drittanbieters aufbauen, können durch dessen Lizenzierung oder begrenzte Offenlegung eingeschränkt sein. Bei inkrementellen oder aktualisierten Veröffentlichungen werden nur Angaben berücksichtigt, die sich ausdrücklich auf die neue Version beziehen. Dazu zählt auch die Erklärung des Modellentwicklers, welche Komponenten gegenüber einer früheren Version unverändert geblieben sind.
Eine ausführliche Spezifikation der Methodik steht als PDF zum Download bereit.
Zusammensetzung des Index
Jede Komponente wird anhand des am besten passenden Offenheitsarchetyps auf einer qualitativen Skala von 0 bis 3 bewertet. Für jedes Modell werden dabei alle öffentlich verfügbaren Erstanbieterinformationen berücksichtigt.
Modelle, die auf einem Basismodell eines Drittanbieters aufbauen, können durch dessen Lizenzierung oder begrenzte Offenlegung eingeschränkt sein. Bei inkrementellen oder aktualisierten Veröffentlichungen berücksichtigen wir nur Angaben, die sich ausdrücklich auf die neue Version beziehen. Dazu zählt auch die Erklärung des Modellentwicklers, welche Komponenten gegenüber einer früheren Version unverändert geblieben sind.
Berechnung der Punktzahl
Die endgültige Punktzahl des Openness Index wird wie folgt berechnet:
- Datenkomponenten werden für Pre- und Post-Training getrennt bewertet und anschließend zu einer gemeinsamen Datenpunktzahl gemittelt (bis zu 6 mögliche Punkte für Zugang und Lizenz zusammen).
- Alle Komponentenpunktzahlen werden addiert; die maximale Rohpunktzahl beträgt 18.
- Die Rohpunktzahl wird auf eine Skala von 0 bis 100 normalisiert: