This model is deprecated. We only continue performance benchmarking for the default 10k input token workload. Results for other workloads are historical and no longer updated.
Meta has launched a newer model, Llama 3.1 70B. We suggest considering it instead.
For more information, see comparison of Llama 3.1 70B to other models and API provider benchmarks for Llama 3.1 70B.
本分析旨在帮助你根据使用场景，选择 Llama 3 Instruct 70B 的最佳 API 服务商。
速度最快
输出速度
共 3 家服务商
延迟最低
首 Token 延迟
共 3 家服务商
价格最低
Novita
Replicate
Amazon每 100 万 token 的混合价格
共 3 家服务商
可通过 3 家 API 服务商使用 Llama 3 70B，每家服务商的性能特征和价格各不相同。下方对比了各服务商的关键指标。
- 价格方面，Novita（0.53）、Replicate（0.86）和Amazon（2.74） 每 100 万 token 的混合价格最低。
有关模型详情及其与其他模型的智能比较，请参阅 Llama 3 Instruct 70B 的模型页面。
亮点
价格
Pricing: Cache Hit, Input, and Output
Pricing: Blended Price
Output Speed vs. Price
速度
按输出速度（每秒 token 数）衡量
Output Speed: Llama 3 Instruct 70B
Latency vs. Output Speed
延迟
按首 Token 延迟（秒）衡量
首 Token 延迟
端到端响应时间
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
端到端响应时间
关键比较指标与 API 功能
常见问题
关于 Llama 3 Instruct 70B 服务商的常见问题
目前可通过我们进行基准测试和跟踪的 3 家 API 服务商使用 Llama 3 Instruct 70B。
提供 Llama 3 Instruct 70B 的 3 家服务商中，有 1 家支持 JSON 模式：Novita。
选择 Llama 3 Instruct 70B 服务商时，请考虑：输出速度（适合吞吐量密集型任务）、延迟（适合需要快速首次响应的交互式应用）、价格（适合成本敏感型工作负载），以及 JSON 模式或函数调用等 API 功能。
会。服务商性能可能因基础设施变化、负载均衡和更新而随时间波动。我们持续对所有服务商进行基准测试，并在“随时间变化”图表中展示历史性能趋势。
有关 Llama 3 Instruct 70B 的智能、能力、模态及其与其他模型的比较，请参阅模型概览页面。 查看模型概览