Endpoint Accuracy Index v1.0の方法論

Endpoint Accuracy Index v1.0

Endpoint Accuracy Indexは、特定のモデルの知能と能力が、そのモデルを提供するさまざまなAPIプロバイダー間でどのように異なるかを測定します。同じモデルでも、量子化、サンプリングのデフォルト値、コンテキスト処理、トークン上限、プロンプトパーサーなど、エンドポイント側の設定に応じて挙動が異なる場合があります。この差を捉えるため、各プロバイダーのエンドポイントで固定の評価スイートを再実行し、エンドポイントがモデルの精度をどの程度再現できているかを報告します。

さらに、モデルのセルフホスト環境をベースラインとして使用し、各プロバイダーのエンドポイントの総合精度スコアをベースライン環境に対する割合で表します。この指標では100%がエンドポイントと参照環境の一致を意味し、それより低いスコアはベースラインより精度が低いことを示します。

各結果には統計的有意性を表示します。エンドポイントの各結果には反復間のばらつきから算出した95%信頼区間を付け、参照環境と統計的に区別できない範囲内か、有意に下回るかを示します。また、結果に影響した特性や問題が見られたエンドポイントには、それぞれ注記を掲載します。

結果はリアルタイム監視ではなく、特定時点のスナップショットです。各結果には日付と使用した反復回数を掲載し、文脈に沿って解釈できるようにしています。

評価スイート

各エンドポイントを、ネイティブツールの利用、高難度推論、長文脈の想起を網羅する固定の3評価で検証します。信頼区間を狭く保つため、反復回数は評価ごとに選定し、各結果と併せて表示します。

評価データセット

採点方法

各評価では、反復実行から平均精度を算出します。Endpoint Accuracy Indexの総合スコアは、3つの評価スコアを加重して組み合わせ、0から100の尺度に正規化したものです。

各評価の平均精度（0から1）に重みを掛け、重みの合計で割ります。3つの評価は均等に重み付けされます（33%／33%／33%）。総合スコアは、3つすべての評価について、そのエンドポイントに現行バージョンの結果がある場合にのみ算出します。

セルフホストの参照エンドポイントがある場合は、評価ごとの比率に同じ加重を適用し、評価別と総合の両方のスコアを参照環境に対する割合で表します。

各エンドポイントのスコアは参照環境に対する割合で表示し、エンドポイント自体と参照環境の不確実性を組み合わせた95%信頼区間を付けます。反復間のばらつきに対する両側95%のスチューデントのt検定からこの区間を構築し、3つの評価を二乗和平方根で統合して、参照値（100%）と比較します。

• 範囲内：信頼区間に参照値が含まれ、統計的に区別できません。
• 有意に範囲外：信頼区間に参照値がまったく含まれず、統計的に有意な差があります。

各エンドポイントの正確なスコアと信頼区間はグラフに表示します。

0から1の未加工スコアはデータレイヤーで保持し、表示時にのみ100を掛けます。各エンドポイントでは評価ごとに最新の実行結果を使用します。複数の実行結果がある場合は最も新しいものを優先し、日付が同じ場合はエラーになったタスクが最も少ない実行を選びます。

推論パラメーター

差が評価ハーネスではなくエンドポイントを反映するよう、標準化した設定でエンドポイントを評価します。

• サンプリング：標準化したサンプリングのデフォルト値を、すべてのエンドポイントに一貫して適用します。モデル開発元が温度を指定している場合はその推奨値を使用し、指定がない場合は、Artificial Analysis Intelligence Indexと同じ手法に従い、推論モデルに0.6を使用します。
• 推論：エンドポイントが対応する最も高い推論モードを使用します。
• ツール呼び出し：APIのデフォルト値を使用し、ツール選択はauto、厳密なスキーマ準拠は有効に設定します。エンドポイントがいずれかに対応していない場合、そのエンドポイントで利用できる最も近い設定を使用します。
• ストリーミング：ベースラインではストリーミングを有効にします。ストリーミングに対応していないエンドポイントでは、無効にして実行します。
• 出力とコンテキスト：エンドポイントが対応する出力トークン数とコンテキストウィンドウの最大値を使用します。

参照実行と再現性

各モデルの参照実行には、通常vLLMまたはSGLangを使ったモデルのセルフホスト環境を使用します。モデル開発元とサービングフレームワークが推奨する設定（例：vLLM recipesやSGLang cookbook）でサーバーを構成し、モデル推論に推奨される最高精度の設定で提供します。サービングフレームワークとCUDAのバージョン、モデルの重みに関する情報、起動引数などの主要な構成情報を記録し、結果と併せて表示します。参照実行結果の注記要素および下部で確認できます。

長期的にもエンドポイント間でも結果を比較できるよう、評価スイートは固定バージョンに設定しています。

Reference inference setup:
- GPU: 8x NVIDIA B200
- SGLang version: 0.5.12 (Docker image: lmsysorg/sglang:deepseek-v4-blackwell)
- CUDA: 13.0
- Precision: native — W4A8 MoE experts (MegaMoE) + FP8 (e4m3) attention/dense
- Model weights: deepseek-ai/DeepSeek-V4-Pro on Hugging Face

Key SGLang launch args:
- moe-a2a-backend: deepep
- kv-cache-dtype: fp8_e4m3
- reasoning-parser: deepseek-v4
- tool-call-parser: deepseekv4

Reference inference setup:
- GPU: 8x NVIDIA B200
- SGLang version: 0.5.13 (Docker image: lmsysorg/sglang:latest)
- CUDA: 13.0
- Precision: native FP8 with DeepGEMM kernels
- Model weights: zai-org/GLM-5.2-FP8 on Hugging Face

Key SGLang launch args:
- moe-a2a-backend: deepep
- kv-cache-dtype: fp8_e4m3
- reasoning-parser: glm45
- tool-call-parser: glm47

Reference inference setup:
- GPU: 8x NVIDIA B200
- SGLang version: 0.5.13.post1 (Docker image: lmsysorg/sglang:v0.5.13.post1)
- CUDA: 13.0
- Precision: native MXFP4 (FlashInfer MXFP4 MoE kernels) + BF16 attention/dense
- Model weights: openai/gpt-oss-120b on Hugging Face

Key SGLang launch args:
- kv-cache-dtype: bfloat16
- reasoning-parser: gpt-oss
- tool-call-parser: gpt-oss

特定時点の結果

エンドポイント精度の結果は、日付を付けたスナップショットであり、リアルタイム監視ではありません。プロバイダーがサービングスタックやエンドポイント設定を更新するとエンドポイントも変化し得るため、各結果に測定日を記載します。定められた頻度およびプロバイダーからの依頼に応じて再実行し、常に最新の結果とその日付を表示します。

モデルの選定

同一モデルを提供するプロバイダーのエコシステムが広く（多くの場合、多数の推論プロバイダーが提供するオープンウェイトモデル）、本番環境で広く利用されているモデルを、エンドポイント精度ベンチマークの対象として優先します。掲載モデルは、新しいモデルやプロバイダーの追加に伴って変わる入れ替え制の構成であり、固定されていません。

現在Endpoint Accuracy Indexの対象となっているモデルは次のとおりです。

• DeepSeek V4 Pro
• GLM-5.2
• gpt-oss-120b