此模型已弃用。我们仍会测试其性能，但频率降低：每 18 小时一次，而非每 6 小时一次。
Meta 已推出更新版本 Llama 3.2 Instruct 11B (Vision)。我们建议考虑使用该版本。
本分析旨在帮助你根据使用场景，选择 Llama 3.1 Instruct 8B 的最佳 API 服务商。
每任务耗时最短
每个 Intelligence Index 任务耗时（分钟）
来自 5 家服务商的 6 个端点
每任务成本最低
每个 Intelligence Index 任务成本
来自 5 家服务商的 6 个端点
可通过来自 5 家 API 服务商的 6 个端点使用 Llama 3.1 8B，每个端点的性能特征和价格各不相同。下方对比了各服务商的关键指标。
价格
每项 Intelligence Index 任务的成本: Llama 3.1 Instruct 8B
价格：缓存命中、输入和输出: Llama 3.1 Instruct 8B
输出速度与每任务成本: Llama 3.1 Instruct 8B
速度
已测量的单次请求和多轮智能体工作负载的平均值
输出速度: Llama 3.1 Instruct 8B
延迟
已测量的单次请求和多轮智能体工作负载的平均值
首个答案 Token 延迟: Llama 3.1 Instruct 8B
可靠性
在所有已测量的单次请求和多轮智能体工作负载中，接入点失败的请求占比
接入点错误率: Llama 3.1 Instruct 8B
缓存
缓存命中率: Llama 3.1 Instruct 8B
每任务成本与缓存命中率: Llama 3.1 Instruct 8B
关键比较指标与 API 功能
常见问题
关于 Llama 3.1 Instruct 8B 服务商的常见问题
目前可通过我们进行基准测试和跟踪的、来自 5 家 API 服务商的 6 个端点使用 Llama 3.1 Instruct 8B。
按混合价格计算，Llama 3.1 Instruct 8B 最实惠的服务商是 DeepInfra (Turbo, FP8)（每 100 万 token $0.022）、Novita（每 100 万 token $0.023）和DeepInfra（每 100 万 token $0.023）。混合价格采用缓存命中/输入/输出 token 为 7:2:1 的比例。
Llama 3.1 Instruct 8B 输入 token 价格最低的服务商是 Novita（每 100 万输入 token $0.02）、DeepInfra (Turbo, FP8)（每 100 万输入 token $0.02）和DeepInfra（每 100 万输入 token $0.02）。
Llama 3.1 Instruct 8B 输出 token 价格最低的服务商是 DeepInfra (Turbo, FP8)（每 100 万输出 token $0.04）、Novita（每 100 万输出 token $0.05）和DeepInfra（每 100 万输出 token $0.05）。
Llama 3.1 Instruct 8B 各服务商价格最多相差 10.0 倍。最实惠的是 DeepInfra (Turbo, FP8)，每 100 万 token 收费 $0.022；CoreWeave 则收费 $0.22。
Llama 3.1 Instruct 8B 的 6 个端点中，有 5 个支持 JSON 模式：Groq、Novita、CoreWeave、DeepInfra (Turbo, FP8)和DeepInfra。
Llama 3.1 Instruct 8B 的 6 个端点中，有 5 个支持函数调用：Groq、CoreWeave、Amazon、DeepInfra (Turbo, FP8)和DeepInfra。
选择 Llama 3.1 Instruct 8B 服务商时，请考虑：每任务耗时（完成一个 Intelligence Index 任务的速度）、延迟（适合需要快速首次响应的交互式应用）、价格（适合成本敏感型工作负载），以及 JSON 模式或函数调用等 API 功能。
会。服务商性能可能因基础设施变化、负载均衡和更新而随时间波动。我们持续对所有服务商进行基准测试，并在“随时间变化”图表中展示历史性能趋势。
有关 Llama 3.1 Instruct 8B 的智能、能力、模态及其与其他模型的比较，请参阅模型概览页面。 查看模型概览