이 모델은 더 이상 권장되지 않습니다. 성능 벤치마킹은 계속하지만 빈도를 낮춰 6시간마다가 아닌 18시간마다 측정합니다.

Meta에서 새 버전인 Llama 3.3 Instruct 70B을 출시했습니다. 이 버전 사용을 고려해 보세요.

•

오픈 웨이트 모델

•

2024년 7월 출시

Llama 3.1 Instruct 70B API 제공업체 벤치마킹 및 분석

모델 비교

이 분석은 사용 사례에 가장 적합한 Llama 3.1 Instruct 70B API 제공업체를 선택하는 데 도움을 드립니다.

가장 짧은 작업당 시간

Intelligence Index 작업당 시간(분)

제공업체 1곳의 엔드포인트 2개

가장 낮은 작업당 비용

Intelligence Index 작업당 비용

제공업체 1곳의 엔드포인트 2개

Llama 3.1 70B은 API 제공업체 1곳의 엔드포인트 2개에서 제공되며, 성능 특성과 가격이 서로 다릅니다. 아래에서 제공업체별 주요 지표를 비교합니다.

    이 모델은 제공업체 벤치마크를 제공하지 않습니다.

    모델 세부 정보와 다른 모델 대비 지능은 Llama 3.1 Instruct 70B 모델 페이지에서 확인하세요.

    Inference time (minutes) per Intelligence Index task · Lower is better
    No data available
    Weighted average cost (USD) per Intelligence Index task · Lower is better
    No data available

    가격

    Intelligence Index 작업당 비용: Llama 3.1 Instruct 70B

    Weighted average cost (USD) per Intelligence Index task · Segmented by token type · Lower is better
    No data available

    가격: 캐시 적중, 입력 및 출력: Llama 3.1 Instruct 70B

    Price (USD per M Tokens) · Lower is better

    출력 속도와 작업당 비용: Llama 3.1 Instruct 70B

    Output speed: output tokens divided by total request time, including time to first token · Weighted average cost (USD) per Intelligence Index task
    Most attractive quadrant
    No data available

    속도

    측정한 단일 요청 및 멀티턴 에이전트 워크로드의 평균

    출력 속도: Llama 3.1 Instruct 70B

    출력 토큰을 전체 요청 시간으로 나눈 값 · 첫 토큰까지 걸린 시간 포함 · 측정한 단일 요청 및 멀티턴 에이전트 워크로드의 평균 · 높을수록 좋음
    No data available

    지연 시간

    측정한 단일 요청 및 멀티턴 에이전트 워크로드의 평균

    첫 답변 토큰까지 걸린 시간: Llama 3.1 Instruct 70B

    추론을 거쳐 첫 답변 토큰까지 걸린 초 · 측정한 단일 요청 및 멀티턴 에이전트 워크로드의 평균 · 낮을수록 좋음
    No data available

    신뢰성

    측정한 모든 단일 요청 및 멀티턴 에이전트 워크로드에서 엔드포인트가 실패한 요청의 비율

    엔드포인트 오류율: Llama 3.1 Instruct 70B

    엔드포인트가 오류, 속도 제한 또는 시간 초과로 실패한 요청의 비율 · 측정한 모든 단일 요청 및 멀티턴 에이전트 워크로드 기준 · 낮을수록 좋음
    No data available

    주요 비교 지표 및 API 기능

    Amazon Bedrock Latency Optimized 로고Amazon Bedrock Latency Optimized
    --
    --
    --
    --
    128k
    오픈
    Amazon Bedrock Standard 로고Amazon Bedrock Standard
    --
    --
    --
    --
    128k
    오픈

    자주 묻는 질문

    Llama 3.1 Instruct 70B 제공업체에 관한 일반적인 질문