本分析旨在帮助你根据使用场景，选择 Llama 3.3 Instruct 70B 的最佳 API 服务商。
速度最快
Groq
SambaNova
Google Vertex
Azure
CoreWeave输出速度
共 13 家服务商
延迟最低
Google VertexGroqCoreWeave
Scaleway
Together AI Turbo首 Token 延迟
共 13 家服务商
价格最低
DeepInfra (Turbo, FP8)
Novita
Parasail (FP8)
CloudflareGroq每 100 万 token 的混合价格
共 13 家服务商
可通过 13 家 API 服务商使用 Llama 3.3 70B，每家服务商的性能特征和价格各不相同。下方对比了各服务商的关键指标。
- 输出速度最快的服务商是 Groq（308.9 t/s）、SambaNova（289.1 t/s）和Google Vertex（164.3 t/s）。 各服务商之间的速度差异显著，最快与最慢相差 2001%。
- 延迟方面，Google Vertex（0.66 秒）、Groq（0.81 秒）和CoreWeave（0.85 秒） 的首 Token 延迟最低。
- 价格方面，DeepInfra (Turbo, FP8)（0.12）、Novita（0.16）和Parasail (FP8)（0.17） 每 100 万 token 的混合价格最低。 各服务商价格最多相差 8.6 倍。
更新：默认性能基准测试工作负载已调整为 1 万个输入 token，以更贴近生产使用场景。你仍可在上方选择其他工作负载。
价格
价格：缓存命中、输入和输出
每项 Intelligence Index 任务的成本
输出速度与价格
速度
按输出速度（每秒 token 数）衡量
输出速度: Llama 3.3 Instruct 70B
智能指数每项任务耗时
每任务成本与每任务耗时
延迟
按首 Token 延迟（秒）衡量
首 Token 延迟
缓存行为
缓存命中率
每任务成本与缓存命中率
端到端响应时间
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
端到端响应时间
关键比较指标与 API 功能
 Fireworks | 131k | 开放 | -- | -- | -- | -- | -- | ||
| Google | 128k | 开放 | -- | 165 | 0.66 | 3.69 | -- | ||
| Groq | 131k | 开放 | -- | 306 | 0.81 | 2.45 | -- | ||
| Novita | 131k | 开放 | -- | 37 | 1.82 | 15.22 | -- | ||
| Parasail | 131k | 开放 | -- | 77 | 2.52 | 9.03 | -- | ||
| SambaNova | 128k | 开放 | -- | 277 | 1.90 | 3.71 | -- | ||
| CoreWeave | 128k | 开放 | -- | 82 | 0.84 | 6.91 | -- | ||
| Together AI | 131k | 开放 | -- | 78 | 1.64 | 8.03 | -- | ||
| Microsoft Azure | 128k | 开放 | -- | 125 | 2.24 | 6.23 | -- | ||
| DeepInfra | 131k | 开放 | -- | 15 | 2.07 | 34.87 | -- | ||
| Cloudflare | 24k | 开放 | -- | -- | -- | -- | -- | ||
 Amazon Bedrock | 128k | 开放 | -- | -- | -- | -- | -- | ||
| Scaleway | 100k | 开放 | -- | 52 | 1.52 | 11.17 | -- | ||
常见问题
关于 Llama 3.3 Instruct 70B 服务商的常见问题
可通过 13 家 API 服务商使用 Llama 3.3 Instruct 70B：Fireworks、Google Vertex、Groq、Novita、Parasail (FP8)、SambaNova、CoreWeave、Together AI Turbo、Azure、DeepInfra (Turbo, FP8)、Cloudflare、Amazon和Scaleway。每家服务商的性能特征和价格各不相同。
目前可通过我们进行基准测试和跟踪的 13 家 API 服务商使用 Llama 3.3 Instruct 70B。
按输出速度计算，Llama 3.3 Instruct 70B 速度最快的服务商是 Groq（308.9 t/s）、SambaNova（289.1 t/s）和Google Vertex（164.3 t/s）。输出速度衡量模型开始响应后生成 token 的速度。
Llama 3.3 Instruct 70B 的首 Token 延迟最低的服务商是 Google Vertex（0.66s）、Groq（0.81s）和CoreWeave（0.85s）。延迟越低，初始响应越快。
按混合价格计算，Llama 3.3 Instruct 70B 最实惠的服务商是 DeepInfra (Turbo, FP8)（每 100 万 token $0.12）、Novita（每 100 万 token $0.16）和Parasail (FP8)（每 100 万 token $0.17）。混合价格采用缓存命中/输入/输出 token 为 7:2:1 的比例。
Llama 3.3 Instruct 70B 输入 token 价格最低的服务商是 DeepInfra (Turbo, FP8)（每 100 万输入 token $0.10）、Novita（每 100 万输入 token $0.14）和Parasail (FP8)（每 100 万输入 token $0.22）。
Llama 3.3 Instruct 70B 输出 token 价格最低的服务商是 DeepInfra (Turbo, FP8)（每 100 万输出 token $0.32）、Novita（每 100 万输出 token $0.40）和Parasail (FP8)（每 100 万输出 token $0.50）。
Llama 3.3 Instruct 70B 各服务商价格最多相差 8.6 倍。最实惠的是 DeepInfra (Turbo, FP8)，每 100 万 token 收费 $0.12；Scaleway 则收费 $1.05。
Llama 3.3 Instruct 70B 的输出速度在不同服务商之间差异显著。Groq 最快，为 308.9 t/s，是 DeepInfra (Turbo, FP8)（14.7 t/s）的 21.0 倍。
提供 Llama 3.3 Instruct 70B 的 13 家服务商中，有 12 家支持 JSON 模式：Fireworks、Google Vertex、Groq、Novita、Parasail (FP8)、SambaNova、CoreWeave、Together AI Turbo、Azure、DeepInfra (Turbo, FP8)、Cloudflare和Scaleway。
提供 Llama 3.3 Instruct 70B 的全部 13 家服务商均支持函数调用（工具使用）。
Llama 3.3 Instruct 70B 的最佳服务商取决于你的侧重点：Groq 输出速度最高，Google Vertex 延迟最低，DeepInfra (Turbo, FP8) 的价格最具竞争力。
选择 Llama 3.3 Instruct 70B 服务商时，请考虑：输出速度（适合吞吐量密集型任务）、延迟（适合需要快速首次响应的交互式应用）、价格（适合成本敏感型工作负载），以及 JSON 模式或函数调用等 API 功能。
会。服务商性能可能因基础设施变化、负载均衡和更新而随时间波动。我们持续对所有服务商进行基准测试，并在“随时间变化”图表中展示历史性能趋势。
有关 Llama 3.3 Instruct 70B 的智能、能力、模态及其与其他模型的比较，请参阅模型概览页面。 查看模型概览