分析 Hy3 各 API 服务商的性能指标,包括延迟(首 Token 延迟)、输出速度(每秒输出 token 数)、价格等。参与基准测试的 API 服务商包括 SiliconFlow (FP8)、Novita、DeepInfra (FP8)和GMI。
速度最快
输出速度
共 4 家服务商
延迟最低
首个答案 Token 延迟
共 4 家服务商
价格最低
每 100 万 token 的混合价格
共 4 家服务商
可通过 4 家 API 服务商使用 Hy3,每家服务商的性能特征和价格各不相同。下方对比了各服务商的关键指标。
- 输出速度最快的服务商是 GMI(72.7 t/s)、SiliconFlow (FP8)(70.0 t/s)和Novita(63.9 t/s)。
- 延迟方面,GMI(30.73 秒)、SiliconFlow (FP8)(31.35 秒)和DeepInfra (FP8)(33.44 秒) 的首个答案 Token 延迟最低。
- 价格方面,GMI(0.10)、SiliconFlow (FP8)(0.10)和Novita(0.11) 每 100 万 token 的混合价格最低。
- GMI 的综合表现最突出,在速度、延迟和价格三项指标中均排名第一。
亮点
更新:默认性能基准测试工作负载已调整为 1 万个输入 token,以更贴近生产使用场景。你仍可在上方选择其他工作负载。
价格
Pricing: Cache Hit, Input, and Output
Pricing: Blended Price
Pricing: Cache Discount
Output Speed vs. Price
速度
按输出速度(每秒 token 数)衡量
Output Speed: Hy3
Latency vs. Output Speed
延迟
按首 Token 延迟(秒)衡量
首个答案 Token 延迟:Hy3 服务商
端到端响应时间
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
端到端响应时间:Hy3 服务商
关键比较指标与 API 功能
常见问题
关于 Hy3 服务商的常见问题
可通过 4 家 API 服务商使用 Hy3:SiliconFlow (FP8)、Novita、DeepInfra (FP8)和GMI。每家服务商的性能特征和价格各不相同。
目前可通过我们进行基准测试和跟踪的 4 家 API 服务商使用 Hy3。
按输出速度计算,Hy3 速度最快的服务商是 GMI(72.7 t/s)、SiliconFlow (FP8)(70.0 t/s)和Novita(63.9 t/s)。输出速度衡量模型开始响应后生成 token 的速度。
Hy3 的首个答案 Token 延迟最低的服务商是 GMI(30.73s)、SiliconFlow (FP8)(31.35s)和DeepInfra (FP8)(33.44s)。延迟越低,初始响应越快。
按混合价格计算,Hy3 最实惠的服务商是 GMI(每 100 万 token $0.10)、SiliconFlow (FP8)(每 100 万 token $0.10)和Novita(每 100 万 token $0.11)。混合价格采用缓存命中/输入/输出 token 为 7:2:1 的比例。
Hy3 输入 token 价格最低的服务商是 GMI(每 100 万输入 token $0.13)、SiliconFlow (FP8)(每 100 万输入 token $0.13)和Novita(每 100 万输入 token $0.14)。
Hy3 输出 token 价格最低的服务商是 SiliconFlow (FP8)(每 100 万输出 token $0.53)、GMI(每 100 万输出 token $0.53)和Novita(每 100 万输出 token $0.58)。
提供 Hy3 的 4 家服务商中,有 2 家支持 JSON 模式:DeepInfra (FP8)和GMI。
提供 Hy3 的全部 4 家服务商均支持函数调用(工具使用)。
GMI 在 Hy3 的所有关键指标上均处于领先,拥有最快速度、最低延迟和最具竞争力的价格。
选择 Hy3 服务商时,请考虑:输出速度(适合吞吐量密集型任务)、延迟(适合需要快速首次响应的交互式应用)、价格(适合成本敏感型工作负载),以及 JSON 模式或函数调用等 API 功能。
会。服务商性能可能因基础设施变化、负载均衡和更新而随时间波动。我们持续对所有服务商进行基准测试,并在“随时间变化”图表中展示历史性能趋势。
有关 Hy3 的智能、能力、模态及其与其他模型的比较,请参阅模型概览页面。 查看模型概览