Artificial Analysis AIトレンド
AIの現状と進歩を牽引する主要トレンドを分析。モデルの知能、効率、アーキテクチャ、推論速度とコストを取り上げます。
AIの進歩
AIの継続的な進歩と、主要AI企業の位置付けを追跡します。
Artificial Analysis Progress Index v1の推移
Item response theory estimate of general capability across Artificial Analysis evaluations · Highest-scoring effort variant shown
大手テクノロジー企業の設備投資額の推移
四半期ごとの設備投資額(10億USD)
Artificial Analysis Progress Index v1とリリース日
Item response theory estimate of general capability across Artificial Analysis evaluations · Highest-scoring effort variant shown
Most attractive region
その時点の最高スコア
AIラボ別の主要モデル
各AIラボが達成したArtificial Analysis Intelligence Indexの最高値
No publicly available API
効率
AIの効率がどのように向上しているかを分析します。特定の知能水準を実現するコストと、その知能を利用できる速度の変化も検討します。
Artificial Analysis Progress Index v1しきい値別の言語モデルのIntelligence Indexタスクあたりのコストの推移
Intelligence Indexのタスクあたりのコスト(USD。各評価をインデックス内の重みで加重平均)。しきい値にはArtificial Analysis Progress Index v1を使用。
Artificial Analysis Progress Index v1しきい値別の言語モデル出力価格の推移
出力トークン100万あたりの価格(USD)。しきい値にはArtificial Analysis Progress Index v1を使用。
Artificial Analysis Progress Index v1しきい値別の言語モデル出力速度の推移
1秒あたりの出力トークン数。しきい値にはArtificial Analysis Progress Index v1を使用。
国別分析
AIは世界的な現象です。AIの進歩がどこで起きているか、各国の主要モデルをどう比較できるかについて分析します。AI開発の二大拠点である米国と中国を詳しく取り上げます。
国別のArtificial Analysis Progress Index v1の推移
Item response theory estimate of general capability across Artificial Analysis evaluations · Highest-scoring effort variant shown
オープンウェイト:国別のArtificial Analysis Progress Index v1の推移
Item response theory estimate of general capability across Artificial Analysis evaluations · Highest-scoring effort variant shown
国別の上位モデル
Artificial Analysis Intelligence Index · Leading models
No publicly available API
オープンソースモデル
オープンウェイトモデルには、柔軟にデプロイでき、特定のユースケースに合わせてファインチューニングできる利点があります。主要なオープンウェイトモデルと、独自モデルとの知能の違いを分析します。
オープンウェイトとプロプライエタリ:Artificial Analysis Progress Index v1の推移
Item response theory estimate of general capability across Artificial Analysis evaluations · Highest-scoring effort variant shown
Artificial Analysis Intelligence Index:オープンウェイトとプロプライエタリ
Artificial Analysis Intelligence Index v5.0.1 incorporates 9 evaluations: AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 (Hard Subset), and Terminal-Bench-Science 0.1
No publicly available API
モデルアーキテクチャ
AIモデルのアーキテクチャは、性能と効率に影響します。このセクションでは、Mixture of Experts(MoE)アーキテクチャの普及など、モデルのアーキテクチャに関するトレンドと、モデルの能力との関係を検証します。
モデルアーキテクチャ別のArtificial Analysis Progress Index v1とリリース日
Artificial Analysis Progress Index v1、オープンウェイトモデルのみ。各モデルについて、スコアが最も高いバリアントを表示しています。
Most attractive region
モデルサイズ:総パラメータ数とアクティブパラメータ数
Comparison between total model parameters and parameters active during inference (billions)
Intelligence Indexと有効パラメーター数
Artificial Analysis Intelligence Index · Active parameters at inference time (billions)
Most attractive quadrant
Pareto line
Intelligence Indexと総パラメーター数
Artificial Analysis Intelligence Index · Size in parameters (billions)
Most attractive quadrant
Pareto line
コンテキスト長(トークン)の四半期中央値
コンテキスト長の中央値(トークン)