Reflectionのモデル:知能・性能・料金
Artificial AnalysisはReflectionの1個のモデルをベンチマークしています。以下はその主要指標です。
- 知能が最も高いReflectionのモデルはBeam 1.0(18)です。
- 速度では、タスクあたりの時間が最も短いモデルはBeam 1.0(2.3分)です。
- 最初の回答トークンまでの時間が最も短いモデルはBeam 1.0(7.17秒)です。
- タスクあたりの費用が最も低いモデルはBeam 1.0($0.28)です。
知能
Artificial Analysis Intelligence Index
Intelligence Index とタスクあたりのコスト
費用
Intelligence Index タスクあたりのコスト
速度と遅延
Intelligence Indexのタスクあたりの時間
能力スコア
能力指数
Incorporates 5 evaluations: AA-Briefcase v1.1, AA-Omniscience v1.1, HLE-Diamond, AutomationBench-AA, GDP.pdf · Higher is better
Incorporates 4 evaluations: AutomationBench-AA, AA-Briefcase v1.1, AA-Omniscience v1.1, GDP.pdf · Higher is better
Incorporates 5 evaluations: AA-Omniscience v1.1, AA-Briefcase v1.1, HLE-Diamond, GDP.pdf, AutomationBench-AA · Higher is better
Incorporates 5 evaluations: AA-Omniscience v1.1, AA-Briefcase v1.1, MLCR-AA, AutomationBench-AA, HLE-Diamond · Higher is better
Incorporates 7 evaluations: AA-Omniscience v1.1, CritPt v2 (Hard Subset), Terminal-Bench-Science 0.1, HLE-Diamond, Terminal-Bench 4.0, FrontierCode 2.0, AA-Briefcase v1.1 · Higher is better
Incorporates 4 evaluations: AA-Omniscience v1.1, AA-Briefcase v1.1, HLE-Diamond, GDP.pdf · Higher is better