이 모델은 더 이상 권장되지 않습니다. 기본 입력 토큰 1만 개 워크로드에 대해서만 성능 벤치마킹을 계속합니다. 다른 워크로드의 결과는 과거 데이터이며 더 이상 업데이트되지 않습니다.
Meta에서 새 버전인 Llama 3.2 Instruct 11B (Vision)을 출시했습니다. 이 버전 사용을 고려해 보세요.
이 분석은 사용 사례에 가장 적합한 Llama 3.1 Instruct 8B API 제공업체를 선택하는 데 도움을 드립니다.
가장 빠름
Groq
Novita
CoreWeave
DeepInfra (Turbo, FP8)DeepInfra출력 속도
총 제공업체 7곳
가장 낮은 지연 시간
CoreWeaveGroqDeepInfraNovitaDeepInfra (Turbo, FP8)첫 토큰까지 걸린 시간
총 제공업체 7곳
가장 낮은 가격
CloudflareDeepInfra (Turbo, FP8)NovitaDeepInfraGroq혼합 가격(토큰 100만 개당)
총 제공업체 7곳
Llama 3.1 8B은 성능 특성과 가격이 서로 다른 API 제공업체 7곳에서 제공됩니다. 아래에서 제공업체별 주요 지표를 비교합니다.
- 출력 속도가 가장 높은 제공업체는 Groq(617.2 t/s), Novita(161.6 t/s) 및 CoreWeave(141.9 t/s)입니다. 제공업체별 속도 차이가 크며, 가장 빠른 곳과 가장 느린 곳의 차이는 1916%입니다.
- CoreWeave(0.66초), Groq(0.80초) 및 DeepInfra(0.86초)의 첫 토큰까지 걸린 시간이 가장 짧습니다.
- Cloudflare(0.00), DeepInfra (Turbo, FP8)(0.02) 및 Novita(0.02)의 토큰 100만 개당 혼합 가격이 가장 낮습니다.
가격
가격: 캐시 적중, 입력 및 출력
가격: 혼합 가격
출력 속도와 가격
속도
출력 속도(초당 토큰 수)로 측정
출력 속도: Llama 3.1 Instruct 8B
지연 시간과 출력 속도
지연 시간
첫 토큰까지 걸린 시간(초)으로 측정
첫 토큰까지 걸린 시간
종단 간 응답 시간
Seconds to output 500 tokens, calculated based on time to first token, 'thinking' time for reasoning models, and output speed
종단 간 응답 시간
주요 비교 지표 및 API 기능
자주 묻는 질문
Llama 3.1 Instruct 8B 제공업체에 관한 일반적인 질문
Llama 3.1 Instruct 8B은 API 제공업체 7곳에서 제공됩니다: Groq, Novita, CoreWeave, Amazon, Cloudflare, DeepInfra (Turbo, FP8) 및 DeepInfra. 제공업체마다 성능 특성과 가격이 다릅니다.
현재 벤치마킹하고 추적하는 Llama 3.1 Instruct 8B API 제공업체는 7곳입니다.
혼합 가격 기준 Llama 3.1 Instruct 8B의 가장 저렴한 제공업체들은 Cloudflare(토큰 100만 개당 $0.00), DeepInfra (Turbo, FP8)(토큰 100만 개당 $0.02) 및 Novita(토큰 100만 개당 $0.02)입니다. 혼합 가격은 캐시 적중/입력/출력 토큰 비율을 7:2:1로 가정합니다.
Llama 3.1 Instruct 8B의 입력 토큰 가격이 가장 낮은 제공업체들은 Cloudflare(입력 토큰 100만 개당 $0.00), Novita(입력 토큰 100만 개당 $0.02) 및 DeepInfra (Turbo, FP8)(입력 토큰 100만 개당 $0.02)입니다.
Llama 3.1 Instruct 8B의 출력 토큰 가격이 가장 낮은 제공업체들은 Cloudflare(출력 토큰 100만 개당 $0.00), DeepInfra (Turbo, FP8)(출력 토큰 100만 개당 $0.04) 및 Novita(출력 토큰 100만 개당 $0.05)입니다.
Llama 3.1 Instruct 8B 제공업체 7곳 중 6곳이 JSON 모드를 지원합니다: Groq, Novita, CoreWeave, Cloudflare, DeepInfra (Turbo, FP8) 및 DeepInfra.
Llama 3.1 Instruct 8B 제공업체 7곳 중 6곳이 함수 호출을 지원합니다: Groq, CoreWeave, Amazon, Cloudflare, DeepInfra (Turbo, FP8) 및 DeepInfra.
Llama 3.1 Instruct 8B의 최적 제공업체는 우선순위에 따라 다릅니다. Groq은 출력 속도가 가장 빠르고, CoreWeave은 지연 시간이 가장 짧으며, Cloudflare은 가격 경쟁력이 가장 뛰어납니다.
Llama 3.1 Instruct 8B 제공업체를 선택할 때는 출력 속도(처리량 중심 작업), 지연 시간(빠른 최초 응답이 필요한 대화형 애플리케이션), 가격(비용에 민감한 워크로드), JSON 모드나 함수 호출 같은 API 기능을 고려하세요.
예. 인프라 변경, 부하 분산, 업데이트에 따라 제공업체 성능이 달라질 수 있습니다. 모든 제공업체를 지속적으로 벤치마킹하고 '시간 경과' 차트에 과거 성능 추이를 표시합니다.
Llama 3.1 Instruct 8B의 지능, 역량, 모달리티와 다른 모델과의 비교 정보는 모델 개요 페이지에서 확인하세요. 모델 개요 보기