Open weights model

Released 2024년 12월

Phi-4 API 제공업체 벤치마킹 및 분석

모델 비교

이 분석은 사용 사례에 가장 적합한 Phi-4 API 제공업체를 선택하는 데 도움을 드립니다.

가장 빠름

#1
DeepInfraDeepInfra
56.2 t/s
#2
AzureAzure
40.4 t/s

출력 속도

총 제공업체 2곳

가장 낮은 지연 시간

#1
DeepInfraDeepInfra
0.93 s
#2
AzureAzure
2.53 s

첫 토큰까지 걸린 시간

총 제공업체 2곳

가장 낮은 가격

#1
DeepInfraDeepInfra
$0.08
#2
AzureAzure
$0.16

혼합 가격(토큰 100만 개당)

총 제공업체 2곳

Phi-4은 성능 특성과 가격이 서로 다른 API 제공업체 2곳에서 제공됩니다. 아래에서 제공업체별 주요 지표를 비교합니다.

  • 출력 속도가 가장 높은 제공업체는 DeepInfra(56.2 t/s) 및 Azure(40.4 t/s)입니다.
  • DeepInfra(0.93초) 및 Azure(2.53초)의 첫 토큰까지 걸린 시간이 가장 짧습니다.
  • DeepInfra(0.08) 및 Azure(0.16)의 토큰 100만 개당 혼합 가격이 가장 낮습니다.
  • DeepInfra은 속도, 지연 시간, 가격 세 부문 모두에서 1위를 차지한 종합 선두입니다.

주요 내용

Output tokens per second · Higher is better
Seconds · Lower is better
USD per 1M tokens (blended) · Lower is better

업데이트: 프로덕션 사용 사례를 더 잘 반영하도록 기본 성능 벤치마킹 워크로드를 입력 토큰 10k개로 변경했습니다. 위에서 다른 워크로드도 계속 선택할 수 있습니다.

가격

Pricing: Cache Hit, Input, and Output

Price (USD per M Tokens) · Lower is better · 10,000 input tokens

Pricing: Blended Price

Blended at 7:2:1 (cache-input-output) · USD per 1M tokens (blended) · Lower is better

Output Speed vs. Price

Blended at 7:2:1 (cache-input-output) · Output speed: output tokens per second · USD per 1M tokens (blended)
Most attractive quadrant

속도

출력 속도(초당 토큰 수)로 측정

Output Speed: Phi-4

Output speed: output tokens per second · 10,000 input tokens

Latency vs. Output Speed

Latency: seconds to first token received · Output speed: output tokens per second · 10,000 input tokens
Most attractive quadrant

지연 시간

첫 토큰까지 걸린 시간(초)으로 측정

첫 토큰까지 걸린 시간

Seconds to first token received · Lower is better · 10,000 input tokens

종단 간 응답 시간

Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed

종단 간 응답 시간

Seconds to output 500 tokens, including reasoning model 'thinking' time · Lower is better · 10,000 input tokens

주요 비교 지표 및 API 기능

Microsoft Azure 로고Microsoft Azure
16.4k
오픈
--
40
2.53
14.91
--
DeepInfra 로고DeepInfra
16.4k
오픈
--
56
0.93
9.82
--

자주 묻는 질문

Phi-4 제공업체에 관한 일반적인 질문