Mobile Device Benchmark Set の方法論

概要

Mobile Device Benchmark Set とは、スマートフォンで動作するほど小さい言語モデルの知能を測定するために現在使用している 5 つの評価のセットを指します。Artificial Analysis 全体で用いているのと同じ独立した評価アプローチを適用しています。

元の完全精度の重みではなく、スマートフォンが実運用で実行する量子化ビルドを評価します。そのため、ここでのスコアは Artificial Analysis の他の場所にある同じモデルのスコアと異なる場合があります。

対象条件

量子化後に 8K コンテキストの KV キャッシュを含めて 8 GB のメモリに収まるモデルを、理論上スマートフォンで動作するほど小さいモデルと定義します。モデルは重みだけでなくコンテキストのためのメモリも必要とするため KV キャッシュを含めており、8K は指示やツール定義を含む日常的なオンデバイスタスクに必要なトークン数の上限として、余裕をもって大きめに見積もった値です。

結果ページでは、条件を満たしたものの選択したデバイス（選択した量子化）で正常に動作しなかったモデルを別の色やパターンで表示し、そのモデル・量子化・推論フレームワーク・デバイスの組み合わせは実行が難しい可能性があることを示しています。

評価の実行方法

  • 現在のリリースでは、4 ビット（Q4_K_M）以下の GGUF 量子化を使用し、llama.cpp で提供します。
  • すべての評価は 16K トークンのコンテキストウィンドウで実行します。応答はそのウィンドウとモデル自身の出力トークン上限のうち低い方で打ち切られ、コンテキストの圧縮や切り詰めは行いません。したがって、最終回答を出す前にトークンを使い切ったモデルは、その試行では不正解として扱われます。 このコンテキスト上限は、実際には 4K 未満であることが多いスマートフォンの現実的なコンテキスト上限と比べると、緩やかです。また、より厳しい制限下でのモデル性能を別の視点から示すため、1 分の時間制限によるベンチマーク結果も含めています。64K コンテキスト制限での結果は近日公開予定です。
  • 各評価は 1 問につき 5 回繰り返し、pass@1 で採点します。ただし AA-Omniscience のみ、6,000 問を 1 パスで実行します。
  • 推論モードと非推論モードの両方に対応するモデルは両方の設定で評価し、別々のバリアントとして掲載します。当初は各モデルの各モードのカバレッジが不完全な場合があります。

構成評価

ベンチマークセットの最初のバージョンは、Artificial Analysis がそれぞれ独立に測定する 5 つの評価で構成されます。

  • BFCL。小規模モデル向けに選定した 640 タスクのサブセットにおけるツール呼び出し。3 つのタスクカテゴリを同じ重みで扱います。
  • IFBench。正確で検証可能な出力制約を伴う指示追従。
  • AA-Omniscience。事実知識とハルシネーション耐性。正答率と非ハルシネーションに均等に分割します。
  • GPQA Diamond。大学院レベルの科学的推論。
  • MATH-500。数学の問題解決。

これらの評価は、小規模モデルに求められる指示追従、ツール呼び出し、知識想起、推論の組み合わせを表すように選びました。これらを単純平均（均等加重）で統合し、最終的な知能スコアを算出します。

小規模モデルおよびモバイルデバイスのベンチマーク手法を改善していく中で、評価内容は今後変化していく見込みです。

BFCL

Berkeley Function Calling Leaderboard（BFCL）v4 は、モデルがツールをどれだけうまく呼び出せるかを測定します。小規模モデルにとって意味のあるものとして選んだ 640 タスクのサブセットを実行し、それぞれが BFCL スコアの 3 分の 1 を占める 3 つのカテゴリから取得します:

  • Multiple（200 タスク）:利用可能な複数の関数から適切なものを選び、正しい引数で呼び出します。呼び出しを期待される構造と照合して採点します。
  • Multi-turn base（200 タスク）:複数ターンにわたるツール利用でタスクを完了します。呼び出しの順序と、その結果として生じる最終状態で採点します。
  • Irrelevance（240 タスク）:利用可能なツールのいずれも要求に合わないことを認識し、無理に呼び出さずに断ります。

公式の BFCL 設定と異なる点:

  • すべてのタスクは BFCL の著者が作成した non-live スプリットから取得しています。クラウドソーシングによる live スプリットは、ベンチマークセットの将来のバージョンで採用する候補です。
  • アプリケーションが通常モデルへツールを渡す方法であるため、ネイティブの関数呼び出し（BFCL の FC モード）のみをテストします。API のツールインターフェースではなくプロンプトでツールを渡し、モデルの応答から呼び出しを解析する BFCL のプロンプティングモードは使用しません。
  • 各モデルのネイティブなツール呼び出しを使用し、パースはモデルのチャットテンプレートに基づいて llama.cpp が行います。テキスト内容からツール呼び出しを救い出すことは試みず、ランタイムが実行できないツール呼び出しは、実際のアプリケーションと同様に失敗として扱います。
  • リクエストは BFCL のモデル別ハンドラではなく、当社の標準的なプロバイダースタックを経由します。

データセット:BFCL v4 の non-live スプリット。UC Berkeley で開発され、Gorilla リポジトリで管理されています。

IFBench

IFBench は、語数、書式ルール、文の操作など、正確で検証可能な指示にモデルが従えるかをテストします。指示に確実に従うことは人々が小規模モデルに求めるほぼすべての土台となるため、含めています。

  • データセット:294 プロンプトからなるシングルターンの IFBench セット（allenai/IFBench_test）。マルチターン版は使用しません。
  • 応答はプロンプト内のすべての指示を満たした場合にのみ正解となります（プロンプト単位の正確性）。
  • 応答は allenai/IFBench の公式コードを loose モードで用いて検証します。このモードは回答の前後にある余分なテキストや書式を許容します。

AA-Omniscience

AA-Omniscience は当社独自の知識およびハルシネーションのベンチマークで、ビジネス、法律、健康、ソフトウェアエンジニアリング、科学、人文学にわたる 42 のトピックから 6,000 問を出題します。正確な知識を評価し、自信を持った誤答には罰点を与えます。

  • 公開サブセット:ArtificialAnalysis/AA-Omniscience-Public。
  • 各応答は LLM 採点器によって、正解・不正解・部分正解・未回答のいずれかに採点されます。
  • 平均には同じ重みの 2 つの要素として寄与します。正答率は正しく回答した質問の割合です。非ハルシネーションは 1 からハルシネーション率を引いた値で、ハルシネーション率は正答できなかった質問のうちモデルが誤って回答した質問の割合です。
  • 非ハルシネーションを含めるのは意図的なものです。小規模モデルに難解な概念の幅広い知識は期待されませんが、正しい答えを知らない場合には回答や行動を控えることで信頼性を示す必要があります。
  • 採点方法を含む詳細は、知能指数の方法論の AA-Omniscience セクションにあります。

GPQA Diamond

GPQA Diamond は、生物学・物理学・化学の多肢選択問題によって大学院レベルの科学的推論をテストします。

  • データセット:GPQA の Diamond サブセット。各 4 択の 198 問で、ベンチマークの著者がデータセット全体のうち最も品質の高い部分として選定したものです。
  • 回答は正規表現で抽出して pass@1 で採点し、主要な知能指数と同じ多肢選択プロンプトを使用します（プロンプトテンプレートを見る）。

MATH-500

MATH-500 は、さまざまな分野と難易度にわたる高校競技数学 500 問のセットです。

  • データセット:HuggingFaceH4/MATH-500。
  • モデルには問題を段階的に解き、最終的な答えを枠の中に示すよう求めます。
  • 採点ではまず抽出した答えを記号的に検証し、同じ答えの同等な表現が一致するようにします。それで判定できない場合は、LLM の等価性チェッカーが参照解答と一致するかを判断します。

スマートフォンでの推論

速度、レイテンシ、メモリ使用量を含むスマートフォンでの推論性能は、Liquid AI との提携を通じてデバイス上で実測し、別途ベンチマークしています。Liquid AI の測定プラットフォーム（および結果ビューア）は Pipette と呼ばれます。