Openness Indexの方法論

概要

Artificial Analysis Openness Indexは、AIモデルがどの程度オープンに利用でき、透明性の高い文書が公開されているかを測定する複合指標です。モデルウェイトの利用可能性に加え、モデルの作成に使用した基礎データと方法論の透明性も対象とします。

各モデルは、モデル提供元が公開している一次情報のすべてに基づいて評価します。サードパーティーのベースモデルから派生したモデルは、上流モデルのライセンスや限定的な情報開示による制約を受ける場合があります。増分リリースやアップデート版では、新しいリリースに明示的に関する開示のみを考慮します（以前のリリースから変更のないコンポーネントをモデル作成者が申告することも認めます）。

詳細な方法論の仕様は、PDFでダウンロードできます。

指数の構成

1. モデルの利用可能性
重み
アクセス
0クローズドウェイト、APIなし
1クローズドウェイト、APIでトークンの可視性を制限
2クローズドウェイト、APIを利用可能
3オープンウェイト
ライセンス
0クローズドウェイト、または商用利用不可
1商用利用可能、帰属表示が必要
2商用利用可能、帰属表示は不要
3商用利用可能、帰属表示は不要、実質的な制限なし
2. モデルの透明性
データ：事前学習と事後学習（スコアはそれぞれの平均）
アクセス
0情報開示なし、または限定的
1データソースの一部詳細と分類を開示
2データ構成を完全に開示し、相当量のデータを共有¹
3データ全体を共有
ライセンス（最も厳しい条件）
0商用利用不可／相当量のデータ共有なし
1商用利用可能、帰属表示が必要
2商用利用可能、帰属表示は不要
3商用利用可能、帰属表示は不要、実質的な制限なし
方法論
情報開示
0情報開示なし、または限定的
1モデルアーキテクチャを開示
2一般的な技術情報を限定的に開示
3技術的詳細を完全に開示
ライセンス（最も厳しい条件）
0コードの開示／公開なし
1フレームワークを開示し、商用利用可能な形で公開
2エンドツーエンドの学習パイプラインのコードまたはガイドを公開
3エンドツーエンドの学習パイプラインのコードまたはガイドを公開し、商用利用を許可

各構成要素は、最も適合するオープン性の類型に基づいて0〜3の定性的な尺度で採点し、各モデルはモデル提供元が公開している一次情報のすべてに基づいて評価します。

サードパーティーのベースモデルから派生したモデルは、上流モデルのライセンスや限定的な情報開示による制約を受ける場合があります。増分リリース／アップデート版では、新しいリリースに明示的に関する開示のみを考慮します（以前のリリースから変更のないコンポーネントをモデル作成者が申告することも認めます）。

スコアの算出

最終的なOpenness Indexスコアは、次のように算出します。

  • データの構成要素は事前学習と事後学習で個別に採点し、その平均から統合データスコアを算出します（アクセスとライセンスを合わせて最大6点）。
  • すべての構成要素のスコアを合計し、未加工スコアの最大値を18とします。
  • 未加工スコアを0〜100の尺度に正規化します。