价格
每项 Intelligence Index 任务的成本: Llama 3.3 Instruct 70B
价格:缓存命中、输入和输出: Llama 3.3 Instruct 70B
输出速度与每任务成本: Llama 3.3 Instruct 70B
速度
已测量的单次请求和多轮智能体工作负载的平均值
输出速度: Llama 3.3 Instruct 70B
延迟
已测量的单次请求和多轮智能体工作负载的平均值
首个答案 Token 延迟: Llama 3.3 Instruct 70B
可靠性
在所有已测量的单次请求和多轮智能体工作负载中,接入点失败的请求占比
接入点错误率: Llama 3.3 Instruct 70B
缓存
缓存命中率: Llama 3.3 Instruct 70B
每任务成本与缓存命中率: Llama 3.3 Instruct 70B
关键比较指标与 API 功能
常见问题
关于 Llama 3.3 Instruct 70B 服务商的常见问题
可通过 9 家 API 服务商使用 Llama 3.3 Instruct 70B:Groq、Novita、SambaNova、Parasail (FP8)、CoreWeave、Azure、DeepInfra (Turbo, FP8)、Scaleway和Amazon。每家服务商的性能特征和价格各不相同。
目前可通过我们进行基准测试和跟踪的 9 家 API 服务商使用 Llama 3.3 Instruct 70B。
按混合价格计算,Llama 3.3 Instruct 70B 最实惠的服务商是 DeepInfra (Turbo, FP8)(每 100 万 token $0.12)、Novita(每 100 万 token $0.16)和Parasail (FP8)(每 100 万 token $0.17)。混合价格采用缓存命中/输入/输出 token 为 7:2:1 的比例。
Llama 3.3 Instruct 70B 输入 token 价格最低的服务商是 DeepInfra (Turbo, FP8)(每 100 万输入 token $0.10)、Novita(每 100 万输入 token $0.14)和Parasail (FP8)(每 100 万输入 token $0.22)。
Llama 3.3 Instruct 70B 输出 token 价格最低的服务商是 DeepInfra (Turbo, FP8)(每 100 万输出 token $0.32)、Novita(每 100 万输出 token $0.40)和Parasail (FP8)(每 100 万输出 token $0.50)。
Llama 3.3 Instruct 70B 各服务商价格最多相差 8.8 倍。最实惠的是 DeepInfra (Turbo, FP8),每 100 万 token 收费 $0.12;Scaleway 则收费 $1.05。
提供 Llama 3.3 Instruct 70B 的 9 家服务商中,有 8 家支持 JSON 模式:Groq、Novita、SambaNova、Parasail (FP8)、CoreWeave、Azure、DeepInfra (Turbo, FP8)和Scaleway。
提供 Llama 3.3 Instruct 70B 的全部 9 家服务商均支持函数调用(工具使用)。
选择 Llama 3.3 Instruct 70B 服务商时,请考虑:每任务耗时(完成一个 Intelligence Index 任务的速度)、延迟(适合需要快速首次响应的交互式应用)、价格(适合成本敏感型工作负载),以及 JSON 模式或函数调用等 API 功能。
会。服务商性能可能因基础设施变化、负载均衡和更新而随时间波动。我们持续对所有服务商进行基准测试,并在“随时间变化”图表中展示历史性能趋势。
有关 Llama 3.3 Instruct 70B 的智能、能力、模态及其与其他模型的比较,请参阅模型概览页面。 查看模型概览