Question 1

DeepInfra 提供哪些模型？

Accepted Answer

DeepInfra 提供我们跟踪的 108 个模型：GLM-5.3 (max)、GLM-5.3-Flash、Qwen3.8 2.4T A95B、DeepSeek V4 Pro 0813 (max)、DeepSeek V4 Flash 0731 (max)、GLM-5.2 (max) (FP4)、Qwen3.8 27B (xhigh)、Kimi K2.6 (FP4)、DeepSeek V4 Pro (max) (FP4)、DeepSeek V4 Pro (high) (FP4)、MiniMax-M3、GLM-5 (FP4)、GLM-5.1 (FP4)、MiMo-V2.5-Pro、Kimi K2.7 Code、Inkling Small、Hy3 (FP8)、Inkling (FP8)、Ling 3.0 Flash、DeepSeek V4 Flash (high) (FP4)、DeepSeek V4 Flash (max) (FP4)、GLM-5.1 (Non-reasoning) (FP4)、Kimi K2.6 (Non-reasoning) (FP4)、Kimi K2.5、Nemotron 3 Ultra、Nemotron 3 Ultra BF16、Qwen3.5 27B (FP8)、MiniMax-M2.5 (FP8)、MiMo-V2.5、GLM-4.7 (FP4)、Qwen3.6 27B FP8、GLM-5 (Non-reasoning) (FP8)、DeepSeek V3.2 (FP4)、Qwen3.5 397B A17B (Non-reasoning) (FP8)、Qwen3.6 27B (Non-reasoning) FP8、Step 3.7 Flash、Qwen3.5 27B (Non-reasoning) FP8、Qwen3.5 35B A3B (FP8)、Qwen3.5 397B A17B (FP8)、Qwen3.6 35B A3B (FP8)、GLM-4.6 (FP4)、MiMo-V2.5-Pro (Non-reasoning)、Muse Glimmer (high)、Qwen3.5 122B A10B (Non-reasoning) (FP4)、GLM-4.7 (Non-reasoning) (FP4)、Gemma 4 26B A4B (FP8)、Qwen3.5 122B A10B (FP4)、DeepSeek V3.2 (Non-reasoning)、Gemma 4 31B、Qwen3.6 35B A3B (Non-reasoning) (FP8)、Qwen3.5 35B A3B (Non-reasoning) FP8、GLM-4.7-Flash、Granite 4.2 30B、DeepSeek V3.1 Terminus (Non-reasoning) (FP4)、Gemma 4 31B (Non-reasoning) (FP8)、DeepSeek V3.1 (Non-reasoning) (FP4)、Nemotron 3 Super、Gemma 4 26B A4B (Non-reasoning) (FP8)、Qwen3.5 4B (FP8)、DeepSeek R1 0528、Qwen3 235B A22B 2507 (FP8)、gpt-oss-120b (high) (Turbo)、gpt-oss-120b (high)、Qwen3 235B 2507 (Non-reasoning) (FP8)、Qwen3 Coder 480B (Turbo, FP4)、Granite 4.2 8B、Qwen3.5 4B (Non-reasoning) FP8、gpt-oss-120b (low)、DeepSeek V3 0324 (FP4)、Qwen3 Next 80B A3B、Llama 4 Maverick (FP8)、Granite 4.2 3B、gpt-oss-20b (high)、Llama Nemotron Super 49B v1.5、Gemma 4 E4B、Nemotron 3 Nano、DeepSeek V3 (Dec)、DeepSeek R1 Distill Llama 70B、Qwen2.5 72B、Llama 3.3 70B (Turbo, FP8)、Qwen3 30B (FP8)、NVIDIA Nemotron Nano 12B v2 VL (FP8)、Gemma 4 E4B (Non-reasoning)、NVIDIA Nemotron Nano 9B V2、Mistral Small 3.1、Llama Nemotron Super 49B v1.5 (Non-reasoning)、Qwen3 32B (Non-reasoning) (FP8)、Qwen3 32B (FP8)、Mistral Small 3.2 (FP8)、Llama 3.1 Nemotron 70B、Llama 3.1 8B (Turbo, FP8)、Llama 3.1 8B、Nemotron 3 Nano (Non-reasoning)、NVIDIA Nemotron Nano 9B V2 (Non-reasoning)、Qwen3 14B (Non-reasoning) (FP8)、Mistral Small 3、Qwen3 30B (Non-reasoning) (FP8)、Llama 3.1 70B、Llama 3.1 70B (Turbo, FP8)、Llama 4 Scout、Qwen3 14B (FP8)、Hermes 3 - Llama-3.1 70B、Phi-4、NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning) (FP8)、Llama 3.2 11B (Vision)、Gemma 3 27B、Gemma 3 4B和Gemma 3 12B。

Question 2

DeepInfra 上最智能的模型是什么？

Accepted Answer

DeepInfra 上最智能的模型是 GLM-5.3 (max)，Intelligence Index 得分为 45。

Question 3

DeepInfra 上速度最快的模型是什么？

Accepted Answer

按输出速度计算，DeepInfra 上最快的模型是 Inkling Small，速度为每秒 243.7 个 token。

Question 4

DeepInfra 上哪个模型的延迟最低？

Accepted Answer

DeepInfra 上首个答案 Token 延迟最低的模型是 Qwen3 30B (Non-reasoning) (FP8)，延迟为 0.49 秒。延迟越低，初始响应越快。

Question 5

DeepInfra 上最便宜的模型是什么？

Accepted Answer

按混合价格计算，DeepInfra 上最实惠的模型是 Llama 3.1 8B (Turbo, FP8)，每 100 万 token 的价格为 $0.02（缓存命中/输入/输出比例为 7:2:1）。

Question 6

DeepInfra 上各模型之间的价格差异有多大？

Accepted Answer

DeepInfra 上各模型价格最多相差 55 倍，从最实惠的 Llama 3.1 8B (Turbo, FP8)（每 100 万 token $0.02）到最昂贵的 Llama 3.1 Nemotron 70B（每 100 万 token $1.20）。

Question 7

DeepInfra 是否兼容 OpenAI？

Accepted Answer

是，DeepInfra 提供兼容 OpenAI 的 API，可以轻松从 OpenAI 切换，或继续使用现有的 OpenAI SDK 集成。

Question 8

DeepInfra 是否支持 JSON 模式？

Accepted Answer

DeepInfra 上 108 个模型中，有 105 个支持用于结构化输出的 JSON 模式。

Question 9

DeepInfra 是否支持函数调用？

Accepted Answer

DeepInfra 上 108 个模型中，有 105 个支持函数调用（工具使用）。

Question 10

DeepInfra 是否提供推理模型？

Accepted Answer

是，DeepInfra 提供 60 个推理模型：GLM-5.3 (max)、GLM-5.3-Flash、Qwen3.8 2.4T A95B、DeepSeek V4 Pro 0813 (max)、DeepSeek V4 Flash 0731 (max)、GLM-5.2 (max) (FP4)、Qwen3.8 27B (xhigh)、Kimi K2.6 (FP4)、DeepSeek V4 Pro (max) (FP4)、DeepSeek V4 Pro (high) (FP4)、MiniMax-M3、GLM-5 (FP4)、GLM-5.1 (FP4)、MiMo-V2.5-Pro、Kimi K2.7 Code、Inkling Small、Hy3 (FP8)、Inkling (FP8)、Ling 3.0 Flash、DeepSeek V4 Flash (high) (FP4)、DeepSeek V4 Flash (max) (FP4)、Kimi K2.5、Nemotron 3 Ultra、Nemotron 3 Ultra BF16、Qwen3.5 27B (FP8)、MiniMax-M2.5 (FP8)、MiMo-V2.5、GLM-4.7 (FP4)、Qwen3.6 27B FP8、DeepSeek V3.2 (FP4)、Step 3.7 Flash、Qwen3.5 35B A3B (FP8)、Qwen3.5 397B A17B (FP8)、Qwen3.6 35B A3B (FP8)、GLM-4.6 (FP4)、Muse Glimmer (high)、Gemma 4 26B A4B (FP8)、Qwen3.5 122B A10B (FP4)、Gemma 4 31B、GLM-4.7-Flash、Granite 4.2 30B、Nemotron 3 Super、Qwen3.5 4B (FP8)、DeepSeek R1 0528、Qwen3 235B A22B 2507 (FP8)、gpt-oss-120b (high) (Turbo)、gpt-oss-120b (high)、Granite 4.2 8B、gpt-oss-120b (low)、Granite 4.2 3B、gpt-oss-20b (high)、Llama Nemotron Super 49B v1.5、Gemma 4 E4B、Nemotron 3 Nano、DeepSeek R1 Distill Llama 70B、Qwen3 30B (FP8)、NVIDIA Nemotron Nano 12B v2 VL (FP8)、NVIDIA Nemotron Nano 9B V2、Qwen3 32B (FP8)和Qwen3 14B (FP8)。推理模型会先进行扩展思考来解决复杂问题，再给出答案。

Question 11

DeepInfra 是否提供开放权重模型？

Accepted Answer

是，DeepInfra 上全部 108 个模型均为开放权重模型。

Question 12

DeepInfra 的性能会随时间变化吗？

Accepted Answer

会。服务商性能可能因基础设施变化、负载均衡和更新而随时间波动。我们持续对所有服务商进行基准测试，并在“随时间变化”图表中展示历史性能趋势。

Question 13

如何选择 DeepInfra 上的模型？

Accepted Answer

选择 DeepInfra 上的模型时，请考虑：智能（适合质量敏感型任务）、输出速度（适合吞吐量密集型任务）、延迟（适合需要快速首次响应的交互式应用）、价格（适合成本敏感型工作负载），以及上下文窗口大小、JSON 模式或函数调用支持等功能。


									进一步分析
GLM-5.3 (max)	1.05M	开放	45	$2.16	138	1.04	19.18	14.51	模型服务商
GLM-5.3-Flash	1M	开放	42	$0.43	30	1.44	84.71	66.62	模型服务商
Qwen3.8 2.4T A95B	262k	开放	40	$2.89	89	1.43	29.63	22.56	模型服务商
DeepSeek V4 Pro 0813 (max)	1M	开放	36	$1.00	114	0.92	22.78	17.49	模型服务商
DeepSeek V4 Flash 0731 (max)	1M	开放	35	$0.10	55	0.89	46.42	36.42	模型服务商
GLM-5.2 (max) (FP4)	1.05M	开放	34	$0.65	66	1.04	38.79	30.20	模型服务商
Qwen3.8 27B (xhigh)	262k	开放	34	$0.65	35	1.02	72.49	57.18	模型服务商
Kimi K2.6 (FP4)	262k	开放	31*	--	43	1.43	117.56	104.40	模型服务商
DeepSeek V4 Pro (max) (FP4)	1.05M	开放	31	$1.19	52	1.13	95.65	84.83	模型服务商
DeepSeek V4 Pro (high) (FP4)	65.5k	开放	30*	--	55	1.47	46.40	35.92	模型服务商
MiniMax-M3	524k	开放	30	$0.44	24	1.00	106.63	84.50	模型服务商
GLM-5 (FP4)	203k	开放	28*	--	72	0.99	50.75	42.86	模型服务商
GLM-5.1 (FP4)	203k	开放	26	$0.69	33	0.83	131.73	115.64	模型服务商
MiMo-V2.5-Pro	65.5k	开放	26	$0.43	36	1.11	70.05	55.15	模型服务商
Kimi K2.7 Code	262k	开放	26	$0.39	41	0.93	67.23	54.16	模型服务商
Inkling Small	524k	开放	26	$0.12	244	0.98	11.24	8.21	模型服务商
Hy3 (FP8)	262k	开放	26	$0.07	56	1.01	46.04	36.03	模型服务商
Inkling (FP8)	131k	开放	26	$0.81	198	0.57	13.18	10.08	模型服务商
Ling 3.0 Flash	131k	开放	25*	--	57	0.67	44.16	34.79	模型服务商
DeepSeek V4 Flash (high) (FP4)	1.05M	开放	25	$0.10	53	0.89	34.02	23.61	模型服务商
DeepSeek V4 Flash (max) (FP4)	1.05M	开放	25	$0.09	42	0.98	145.78	132.95	模型服务商
GLM-5.1 (Non-reasoning) (FP4)	203k	开放	24*	--	37	1.01	14.69	--	模型服务商
Kimi K2.6 (Non-reasoning) (FP4)	262k	开放	24*	--	36	1.41	15.30	--	模型服务商
Kimi K2.5	262k	开放	23*	--	42	1.34	84.29	70.99	模型服务商
Nemotron 3 Ultra	262k	开放	23	$0.47	112	3.48	28.35	20.39	模型服务商
Nemotron 3 Ultra BF16	262k	开放	23	$0.92	128	3.10	24.75	17.75	模型服务商
Qwen3.5 27B (FP8)	262k	开放	23*	--	69	0.90	37.16	29.01	模型服务商
MiniMax-M2.5 (FP8)	197k	开放	23*	--	22	3.30	116.26	90.36	模型服务商
MiMo-V2.5	262k	开放	22	$0.02	29	1.43	87.16	68.58	模型服务商
GLM-4.7 (FP4)	203k	开放	22*	--	18	1.75	143.60	113.48	模型服务商
Qwen3.6 27B FP8	262k	开放	22	$0.37	65	0.94	95.81	87.19	模型服务商
GLM-5 (Non-reasoning) (FP8)	203k	开放	22*	--	56	1.33	10.20	--	模型服务商
DeepSeek V3.2 (FP4)	164k	开放	21*	--	28	1.67	89.70	70.42	模型服务商
Qwen3.5 397B A17B (Non-reasoning) (FP8)	262k	开放	21*	--	42	0.92	12.88	--	模型服务商
Qwen3.6 27B (Non-reasoning) FP8	262k	开放	20*	--	60	0.95	9.28	--	模型服务商
Step 3.7 Flash	256k	开放	19*	--	168	0.66	15.52	11.89	模型服务商
Qwen3.5 27B (Non-reasoning) FP8	262k	开放	19*	--	70	0.91	8.09	--	模型服务商
Qwen3.5 35B A3B (FP8)	262k	开放	19*	--	161	0.75	16.24	12.39	模型服务商
Qwen3.5 397B A17B (FP8)	262k	开放	19	$0.23	40	0.95	92.47	79.11	模型服务商
Qwen3.6 35B A3B (FP8)	262k	开放	19	$0.14	99	0.71	60.11	54.36	模型服务商
GLM-4.6 (FP4)	203k	开放	19*	--	39	0.76	64.47	50.97	模型服务商
MiMo-V2.5-Pro (Non-reasoning)	65.5k	开放	18*	--	29	1.09	18.58	--	模型服务商
Muse Glimmer (high)	131k	开放	18	$0.05	145	0.94	18.20	13.81	模型服务商
Qwen3.5 122B A10B (Non-reasoning) (FP4)	262k	开放	18*	--	147	0.84	4.24	--	模型服务商
GLM-4.7 (Non-reasoning) (FP4)	203k	开放	17*	--	18	1.10	28.40	--	模型服务商
Gemma 4 26B A4B (FP8)	262k	开放	17*	--	28	0.87	88.96	70.47	模型服务商
Qwen3.5 122B A10B (FP4)	262k	开放	16	$0.14	155	0.79	16.94	12.92	模型服务商
DeepSeek V3.2 (Non-reasoning)	164k	开放	16*	--	30	1.35	17.76	--	模型服务商
Gemma 4 31B	262k	开放	15	$0.02	15	2.02	146.74	112.36	模型服务商
Qwen3.6 35B A3B (Non-reasoning) (FP8)	262k	开放	15*	--	108	0.69	5.33	--	模型服务商
Qwen3.5 35B A3B (Non-reasoning) FP8	262k	开放	15*	--	155	0.72	3.95	--	模型服务商
GLM-4.7-Flash	203k	开放	15*	--	33	1.64	76.72	60.06	模型服务商
Granite 4.2 30B	131k	开放	15*	--	77	0.82	33.09	25.81	模型服务商
DeepSeek V3.1 Terminus (Non-reasoning) (FP4)	164k	开放	14*	--	59	1.02	9.52	--	模型服务商
Gemma 4 31B (Non-reasoning) (FP8)	262k	开放	14*	--	25	1.47	21.14	--	模型服务商
DeepSeek V3.1 (Non-reasoning) (FP4)	164k	开放	14*	--	12	0.97	41.23	--	模型服务商
Nemotron 3.5 Lightning (NVFP4)	262k	开放	14	$0.12	--	--	--	--	模型服务商
Nemotron 3 Super	262k	开放	14	$0.48	77	14.99	47.29	25.84	模型服务商
Gemma 4 26B A4B (Non-reasoning) (FP8)	262k	开放	13*	--	25	0.77	20.79	--	模型服务商
Qwen3.5 4B (FP8)	262k	开放	13*	--	36	0.70	70.28	55.66	模型服务商
DeepSeek R1 0528	164k	开放	13*	--	24	0.96	107.23	85.02	模型服务商
Qwen3 235B A22B 2507 (FP8)	262k	开放	13	--	119	0.71	21.78	16.85	模型服务商
gpt-oss-120b (high) (Turbo)	131k	开放	12	$0.11	230	0.76	11.61	8.68	模型服务商
gpt-oss-120b (high)	131k	开放	12	$0.03	48	0.62	52.46	41.48	模型服务商
Qwen3 235B 2507 (Non-reasoning) (FP8)	262k	开放	12*	--	16	0.67	32.20	--	模型服务商
Qwen3 Coder 480B (Turbo, FP4)	262k	开放	12*	--	80	0.64	6.90	--	模型服务商
Granite 4.2 8B	131k	开放	12	$0.02	78	0.61	32.68	25.65	模型服务商
Qwen3.5 4B (Non-reasoning) FP8	262k	开放	11*	--	25	0.69	20.50	--	模型服务商
gpt-oss-120b (low)	131k	开放	10*	--	53	0.65	48.12	37.98	模型服务商
DeepSeek V3 0324 (FP4)	164k	开放	10	$0.02	46	1.18	12.16	--	模型服务商
Qwen3 Next 80B A3B	262k	开放	10*	--	145	0.66	4.10	--	模型服务商
Llama 4 Maverick (FP8)	1.05M	开放	9	$0.03	74	0.51	7.25	--	模型服务商
Granite 4.2 3B	131k	开放	9	$0.01	217	0.41	11.94	9.22	模型服务商
gpt-oss-20b (high)	131k	开放	9	$0.01	119	0.44	21.40	16.77	模型服务商
Llama Nemotron Super 49B v1.5	131k	开放	9*	--	92	4.27	31.39	21.70	模型服务商
Gemma 4 E4B	262k	开放	9*	--	43	0.83	58.62	46.24	模型服务商
Nemotron 3 Nano	262k	开放	9	$0.02	95	5.80	32.06	21.01	模型服务商
DeepSeek V3 (Dec)	164k	开放	8	$0.02	28	0.70	18.85	--	模型服务商
DeepSeek R1 Distill Llama 70B	131k	开放	8*	--	25	0.99	100.22	79.39	模型服务商
Qwen2.5 72B	32.8k	开放	8*	--	29	2.30	19.40	--	模型服务商
Llama 3.3 70B (Turbo, FP8)	131k	开放	8*	--	16	2.07	34.14	--	模型服务商
Qwen3 30B (FP8)	41k	开放	8*	--	154	0.51	16.79	13.02	模型服务商
NVIDIA Nemotron Nano 12B v2 VL (FP8)	131k	开放	7*	--	122	4.49	25.04	16.45	模型服务商
Gemma 4 E4B (Non-reasoning)	262k	开放	7*	--	45	0.77	11.83	--	模型服务商
NVIDIA Nemotron Nano 9B V2	131k	开放	7*	--	91	7.88	35.38	22.00	模型服务商
Mistral Small 3.1	128k	开放	7	$0.02	37	0.90	14.23	--	模型服务商
Llama Nemotron Super 49B v1.5 (Non-reasoning)	131k	开放	7*	--	144	3.57	7.04	--	模型服务商
Qwen3 32B (Non-reasoning) (FP8)	41k	开放	7*	--	29	1.38	18.89	--	模型服务商
Qwen3 32B (FP8)	41k	开放	7	--	31	1.40	82.64	64.99	模型服务商
Mistral Small 3.2 (FP8)	128k	开放	7	$0.11	37	0.90	14.46	--	模型服务商
Llama 3.1 Nemotron 70B	131k	开放	7*	--	124	3.27	7.30	--	模型服务商
Llama 3.1 8B (Turbo, FP8)	131k	开放	7*	--	22	1.00	23.80	--	模型服务商
Llama 3.1 8B	131k	开放	7*	--	19	0.97	27.31	--	模型服务商
Nemotron 3 Nano (Non-reasoning)	262k	开放	7*	--	102	0.65	5.57	--	模型服务商
NVIDIA Nemotron Nano 9B V2 (Non-reasoning)	131k	开放	7*	--	97	7.90	13.04	--	模型服务商
Qwen3 14B (Non-reasoning) (FP8)	41k	开放	7*	--	61	0.80	8.99	--	模型服务商
Mistral Small 3	32.8k	开放	7*	--	52	0.89	10.58	--	模型服务商
Qwen3 30B (Non-reasoning) (FP8)	41k	开放	7*	--	159	0.49	3.63	--	模型服务商
Llama 3.1 70B	131k	开放	7*	--	35	1.93	16.33	--	模型服务商
Llama 3.1 70B (Turbo, FP8)	131k	开放	7*	--	35	1.94	16.25	--	模型服务商
Llama 4 Scout	328k	开放	6	$0.06	22	0.88	23.53	--	模型服务商
Qwen3 14B (FP8)	32.8k	开放	6	--	48	0.99	52.91	41.53	模型服务商
Hermes 3 - Llama-3.1 70B	131k	开放	6*	--	31	2.10	18.14	--	模型服务商
Phi-4	16.4k	开放	6*	--	58	0.93	9.61	--	模型服务商
NVIDIA Nemotron Nano 12B v2 VL (Non-reasoning) (FP8)	131k	开放	6*	--	128	4.58	8.48	--	模型服务商
Llama 3.2 11B (Vision)	131k	开放	5*	--	23	1.27	23.15	--	模型服务商
Gemma 3 27B	131k	开放	5	$0.16	25	1.27	21.18	--	模型服务商
Gemma 3 4B	131k	开放	5*	--	24	1.27	22.53	--	模型服务商
Llama 3 8B	8.19k	开放	5*	--	--	--	--	--	模型服务商
Gemma 3 12B	131k	开放	4	$0.13	41	0.98	13.24	--	模型服务商

DeepInfra：模型智能、性能与价格

最智能

速度最快

价格最低

智能

速度

价格

智能评测

Artificial Analysis Intelligence Index

Intelligence Evaluations

Intelligence Index vs. Price

上下文窗口

Context Window

价格

Intelligence Index vs. Price

性能摘要

Output Speed vs. Price

速度

Output Speed

延迟

Latency: Time To First Answer Token

端到端响应时间

End-to-End Response Time vs. Price

关键定义

常见问题

DeepInfra：模型智能、性能与价格

最智能

速度最快

价格最低

智能

速度

价格

智能评测

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index

Intelligence Evaluations

Intelligence Evaluation Relevance

Artificial Analysis Intelligence Index

Intelligence Index vs. Price

Price-Quality Variance

上下文窗口

Context Window

Context Window for RAG

Context Window

价格

Intelligence Index vs. Price

Price-Quality Variance

性能摘要

Output Speed vs. Price

Output Speed

Price

速度

Output Speed

Output Speed

Model Performance Representation

延迟

Latency: Time To First Answer Token

Time to First Answer Token

端到端响应时间

End-to-End Response Time vs. Price

Price

关键定义

Context Window

常见问题

DeepInfra 提供哪些模型？

DeepInfra 上最智能的模型是什么？

DeepInfra 上速度最快的模型是什么？

DeepInfra 上哪个模型的延迟最低？

DeepInfra 上最便宜的模型是什么？

DeepInfra 上各模型之间的价格差异有多大？

DeepInfra 是否兼容 OpenAI？

DeepInfra 是否支持 JSON 模式？

DeepInfra 是否支持函数调用？

DeepInfra 是否提供推理模型？

DeepInfra 是否提供开放权重模型？

DeepInfra 的性能会随时间变化吗？

如何选择 DeepInfra 上的模型？