Artificial Analysis 언어 모델 API 성능 벤치마킹 방법론
개요
LLM 성능을 측정하려면 LLM에 프롬프트를 보내고 출력의 특성을 측정해야 합니다. 여러 테스트 워크로드에 걸쳐 성능을 측정합니다.
워크로드 유형
| 워크로드 유형 | 설명 |
|---|---|
| 입력 1k 토큰 | 입력 토큰이 약 1,000개인 단일 요청 |
| 입력 10k 토큰 | 입력 토큰이 약 10,000개인 단일 요청 |
| 입력 100k 토큰 | 입력 토큰이 약 100,000개인 단일 요청 |
| 멀티턴 에이전트 | 코딩, 지식 업무 및 자동화 평가에서 가져온, 여러 턴에 걸친 에이전트 작업 |
부하
프로덕션 환경에서 엔드포인트의 성능을 더 잘 반영하기 위해 모든 워크로드를 동시 부하에서 측정합니다.
테스트 빈도
- 벤치마크는 6시간마다 다양한 워크로드에서 실행합니다.
- 지원 중단된 모델의 엔드포인트는 18시간마다 측정합니다.
프롬프트 생성
각 실행은 크고 다양한 집합에서 프롬프트와 작업을 가져와 해당 실행의 모든 엔드포인트에 같은 것을 보내므로, 모든 엔드포인트를 같은 작업으로 비교합니다.
단일 요청 프롬프트는 장문 입력 콘텐츠와 다양한 작업을 결합하며, 각 워크로드의 목표 입력 길이를 채우도록 구성합니다.
추측 디코딩 같은 기법으로 인해 출력 유형에 따라 출력 속도가 달라지므로, 성능 벤치마킹에서 프롬프트의 다양성은 중요합니다.
멀티턴 워크로드는 코딩, 지식 업무 및 자동화 평가의 에이전트 작업을 사용하며, 실행마다 무작위로 고르므로 작업이 실행마다 달라집니다.
측정값 표시 방식
각 실행에서 워크로드별로 샘플의 중앙값을 구합니다. 샘플은 요청이며, 멀티턴 워크로드에서는 세션입니다. 엔드포인트의 워크로드별 값은 최근 5일간 실행 중앙값의 평균입니다.
엔드포인트의 대표 출력 속도, 첫 답변 토큰까지 걸린 시간, 첫 토큰까지 걸린 시간은 워크로드의 평균입니다. 각 워크로드의 비중은 같습니다. 컨텍스트 윈도보다 긴 프롬프트나 함수 호출을 지원하지 않는 엔드포인트의 도구 호출 워크로드처럼 측정값이 없는 워크로드가 있으면, 측정한 워크로드만으로 평균을 냅니다.
모델의 속도 및 지연 시간 수치는 해당 모델의 대표 엔드포인트에서 가져옵니다. 대표 엔드포인트는 보통 모델 개발사의 자체 API이며, 가격에도 같은 엔드포인트를 사용합니다. 대표 엔드포인트가 없거나 최근 5일간 해당 엔드포인트의 측정값이 없으면 모델의 측정된 엔드포인트 간 중앙값을 사용합니다.
주요 정의
- 첫 답변 토큰까지 걸린 시간: 서비스 또는 시스템에 요청을 보낸 시점부터 응답의 첫 답변 토큰을 받은 시점까지의 시간(초)입니다. 추론 모델에서는 추론에 걸린 시간이 포함되므로, 첫 토큰까지 걸린 시간과 달리 추론 모델과 비추론 모델의 답변 대기 시간을 같은 방식으로 측정합니다. 멀티턴 워크로드에서는 세션의 턴 전체에 걸쳐 평균을 냅니다.
- 첫 토큰까지 걸린 시간: 서비스 또는 시스템에 요청을 보낸 시점부터 응답의 첫 토큰을 받은 시점까지의 시간(초)입니다. 추론 토큰을 반환하는 추론 모델에서는 첫 추론 토큰이 이에 해당합니다. 멀티턴 워크로드에서는 세션의 턴 전체에 걸쳐 평균을 냅니다.
- 출력 속도(초당 출력 토큰 수): 요청 전송부터 마지막 토큰 수신까지 요청의 전체 소요 시간 동안 초당 수신한 출력 토큰(추론 토큰 포함) 수로, 첫 토큰까지 걸린 시간이 포함됩니다. 멀티턴 세션에서는 세션의 출력 토큰 수를 엔드포인트가 요청에 응답하는 데 걸린 시간으로 나누며, 요청 사이에 도구가 실행되는 시간은 제외합니다.
- 종단 간 시간: 요청을 보낸 시점부터 마지막 토큰을 받은 시점까지의 시간(초)으로, 요청마다 측정합니다. 멀티턴 세션에서는 세션의 모든 요청을 합한 시간이며, 요청 사이에 도구가 실행되는 시간은 제외합니다.
- 엔드포인트 오류율: 최근 5일 동안 엔드포인트에 보낸 요청 중 엔드포인트 측에서 실패한 요청의 비율입니다. 멀티턴 세션은 하나의 요청으로 계산하며, 세션 안의 요청 중 하나라도 실패하면 실패로 봅니다. 잘못된 API 키, 크레딧 소진이나 당사 계정의 할당량, 잘못되었거나 컨텍스트 윈도를 초과해 거부된 요청, 답변 전에 당사의 max_tokens 한도로 잘린 응답, 안전 차단, 샌드박스 오류 등 엔드포인트에 귀속되지 않는 실패는 제외합니다. 엔드포인트의 속도 제한, 시간 초과, 벤치마크 마감 시점에 아직 실행 중인 요청 등 엔드포인트 측의 오류는 계산에 포함합니다. 워크로드 전체에 걸쳐 요청을 합산한 뒤 나눕니다.
- 캐시 적중률: 캐시 가능한 입력 토큰 중 제공업체의 프롬프트 캐시에서 제공된 비율로, 멀티턴 에이전트형 세션 중 제공업체 API가 보고한 값을 기준으로 합니다. 각 엔드포인트에 대해 최근 측정값을 바탕으로 한 대표 캐시 적중률을 보고합니다.
기술 세부 정보
서버 위치: 벤치마크는 Google Cloud Run의 us-central1 리전에서 실행합니다.
테스트 계정: 익명 계정, 크레딧이 있는 계정, 벤치마킹 목적으로 명시적으로 제공된 API 키를 조합해 테스트합니다. 주 벤치마킹에 익명 계정을 사용하지 않는 경우에는 별도의 익명 계정을 등록하고 성능이 조작되지 않았는지 검증합니다.
API 라이브러리: OpenAI API와의 호환성을 표방하는 모든 제공업체에는 테스트 간 일관성을 보장하기 위해 공식 OpenAI Python 라이브러리를 사용합니다. OpenAI와 호환되지 않는 제공업체에는 해당 업체가 권장하는 클라이언트 라이브러리를 사용합니다.
캐시 적중률 측정: 캐시 적중률은 캐시 가능한 입력 토큰 중 캐시에서 읽은 비율입니다. 멀티턴 워크로드에서 측정합니다.
API 매개변수: 다음 API 매개변수를 사용합니다:
- 모델 개발사가 달리 지정하지 않는 한, 추론 모델에는
temperature: 0.6을 사용하고 비추론 모델에는temperature: 0을 사용합니다. - 모델 개발사가 달리 지정하지 않는 한, 단일 요청 워크로드에는
top_p: 1을 사용합니다. max_tokens는 엔드포인트의 출력 토큰 한도 이하로 설정하며, 최대 65,536개, 추론이 길어지는 경우가 많은 엔드포인트는 최대 128,000개입니다.
토큰 측정: 출력 토큰은 가능한 경우 각 제공업체 API가 보고하는 수를 기준으로 세며, API가 텍스트를 반환하는지와 관계없이 추론 토큰을 포함합니다. 제공업체가 보고하지 않으면 응답 텍스트에서 셉니다. Artificial Analysis Intelligence Index 평가에서도 각 모델의 API 제공업체가 보고하는 토큰 수(캐시된 입력 토큰, 추론 토큰, 출력 토큰 포함)를 사용합니다. 이를 통해 Intelligence Index 실행 비용을 더 정확히 보고할 수 있습니다. 캐시 적중률과 비용을 보고할 때는 평가 실행 시점의 일회성 측정값에 의존하지 않고, 이 수치와 각 모델의 일반적인 캐시 적중률을 실시간으로 측정한 값을 결합합니다.
실패 처리: 서버 오류, 속도 제한(429), 시간 초과 등 엔드포인트 측에서 실패한 요청은 출력 속도 0으로 계산합니다. 실패했거나 정기 실행 안에 끝나지 않은 멀티턴 세션은 엔드포인트가 응답한 요청만 반영하며, 응답한 요청이 없으면 0으로 계산합니다. 잘못된 API 키, 크레딧 소진이나 당사 계정의 할당량, 샌드박스 오류 등 당사 측의 실패는 제외합니다.
알려진 한계
양자화: 일부 모델은 컴퓨팅 요구 사항을 줄이고 속도를 높이기 위해 양자화를 사용합니다. 하지만 양자화는 모델 품질에도 영향을 줄 수 있습니다. 벤치마킹하는 모델에 사용된 양자화 방식을 모두 공개하는 방향으로 나아가고 있습니다. 양자화 같은 서빙 방식이 품질에 미치는 영향을 측정하기 위해, 여러 제공업체가 서비스하는 가장 중요한 오픈 웨이트 모델 일부를 대상으로 Endpoint Accuracy Index도 실행합니다.
서버 위치 및 지연 시간: 첫 답변 토큰까지 걸린 시간과 첫 토큰까지 걸린 시간에는 네트워크 지연이 포함되므로 서버 위치의 영향을 받습니다. 벤치마크는 Google Cloud의 us-central1 리전에서 실행하므로 제공업체의 서버 위치에 따라 일부 제공업체에 유리하거나 불리할 수 있습니다. 이러한 영향을 줄이기 위해 테스트 위치 추가를 검토하고 있습니다.
버전 기록
버전 3.0.0
2026년 11월 3일
- 워크로드: 단일 요청 워크로드에 더해 코딩 및 지식 업무 평가에서 가져온, 도구 호출을 포함한 멀티턴 에이전트 워크로드를 추가했으며, 모두 같은 지속 부하에서 측정합니다. 이는 비전 워크로드와 단일 프롬프트 및 병렬 프롬프트 부하 시나리오를 대체합니다.
- 대표 출력 속도: 대표 출력 속도는 이제 최근 5일간 측정한 워크로드의 평균입니다(이전에는 최근 72시간 동안 입력 토큰 10k개 워크로드의 중앙값).
- 종단 간 출력 속도: 출력 속도는 이제 첫 토큰까지 걸린 시간을 포함해 각 요청의 전체 소요 시간을 다루며, 멀티턴 세션에서는 도구 실행 시간을 제외합니다.
- 지연 시간: 첫 답변 토큰까지 걸린 시간과 종단 간 시간을 이제 요청마다 측정합니다(이전에는 평균 추론 토큰 수와 출력 속도로 추정).
- 토큰 집계: 출력 토큰은 각 제공업체 API가 보고하는 수를 기준으로 셉니다(이전에는 tiktoken o200k_base).
- 엔드포인트 오류율: 이제 각 엔드포인트의 요청 중 엔드포인트 측에서 실패한 요청의 비율을 보고합니다.
- 실패: 이제 엔드포인트 측의 실패는 출력 속도 0으로 계산하며, 당사 측의 실패는 제외합니다.
- 빈도: 벤치마크는 6시간마다 실행합니다(이전에는 3시간마다).
- 프롬프트 옵션: 프롬프트 옵션 페이지를 삭제했습니다. 워크로드별 차트에서 각 워크로드의 결과를 확인할 수 있습니다.
버전 2.2.0
2026년 3월 2일
- 프롬프트 업데이트: 더 광범위하고 다양한 콘텐츠와 더 폭넓은 작업 유형을 포함한 새로운 프롬프트 세트를 도입했습니다. 추측 디코딩 같은 기법으로 인해 출력 유형에 따라 출력 속도가 달라지므로 프롬프트의 다양성은 중요합니다.
- 기본 워크로드 변경: 이제 사이트의 기본 속도는 입력 토큰 10k개 프롬프트(이전에는 1k개)의 결과를 반영하며, 입력 토큰 100개 워크로드의 성능 측정은 지원 중단했습니다. 입력 토큰 1k개, 10k개, 100k개 워크로드는 모든 페이지의 프롬프트 옵션 드롭다운에서 선택해 계속 볼 수 있습니다. 서로 다른 워크로드 형태의 출력 속도를 비교하는 가장 쉬운 방법은 입력 토큰 수별 출력 속도 차트를 사용하는 것입니다.
무결성 약관
배경
Artificial Analysis는 독립적인 AI 벤치마킹 및 인사이트 제공업체입니다. 수백만 명의 사용자와 조직이 당사의 벤치마크를 참고합니다.
Artificial Analysis에 게시하는 모든 데이터가 공정하고 투명하며, 당사가 다루는 모델과 엔드포인트를 사용하는 개발자 및 조직의 일반적인 경험을 대표하도록 노력합니다. 당사의 추론 벤치마킹 데이터는 속도, 지연 시간, 품질 등의 차원에서 추론 제공업체를 비교하는 참고 표준으로 널리 사용됩니다. 이러한 측정값은 일반 개발자가 제공업체의 표준 공개 엔드포인트를 이용하는 경험을 반영할 때 가치가 있습니다.
본 약관은 Artificial Analysis가 추론 성능 벤치마킹을 시작한 이래 적용해 온 접근 방식을 공식화합니다. Artificial Analysis에 서버리스 엔드포인트 데이터를 게시하는 모든 추론 제공업체와 플랫폼(통칭 "제공업체")에 동일하게 적용되며, 모든 제공업체가 동일하고 공정한 기준으로 측정되도록 합니다.
제공업체 요구 사항
Artificial Analysis의 트래픽은 일반 개발자가 엔드포인트를 사용할 때 제공받는 것과 동일한 공개 구성에서 처리되어야 합니다. 특히 제공업체는 다음 행위를 해서는 안 됩니다:
- Artificial Analysis 트래픽을 감지하거나 지문을 추출하거나 다른 방식으로 식별한 후(계정, API 키, IP 주소, 요청 헤더, 페이로드 또는 트래픽 패턴을 통한 식별 포함) 일반 트래픽과 다르게 처리하는 행위
- Artificial Analysis 트래픽을 일반에 제공되지 않는 별도 하드웨어, 용량 풀, 우선순위 대기열, 지리적 리전 등 전용, 예약 또는 비공개 리소스로 라우팅하는 행위
- 동일한 이름으로 공개적으로 안내되고 일반에 제공되는 것과 다른 모델, 양자화, 컨텍스트 길이 또는 엔드포인트 구성을 Artificial Analysis에 제공하는 행위
- 동일 엔드포인트의 일반 트래픽에 적용되는 설정을 대표하지 않는 배치 크기, 동시성 또는 부하 구성으로 Artificial Analysis 트래픽을 처리하는 행위(예: 요청당 속도를 높이기 위해 벤치마크 요청을 더 작은 배치 크기로 실행)
요청이 있을 경우 제공업체는 Artificial Analysis 트래픽을 처리하는 모델 버전, 정밀도 또는 양자화, 컨텍스트 길이를 확인하고 이것이 표준 공개 상품과 일치함을 확인해야 합니다. 제공업체는 엔드포인트가 Artificial Analysis에서 측정되고 있음을 아는 모든 직원, 계약업체, 고문 또는 계열사가 이 정책을 준수하도록 해야 합니다.
표준 공개 상품의 일부이며 모든 개발자가 동등한 조건으로 사용할 수 있는 성능 기능(예: 자동 확장, 일반에 제공되는 캐싱 또는 모든 고객이 이용할 수 있도록 공개된 티어링)은 Artificial Analysis 트래픽에만 선택적으로 적용되지 않는 한 위반이 아닙니다.
준수 절차
Artificial Analysis는 독자적인 재량에 따라 엔드포인트와 제공업체를 등재합니다. 본 약관을 준수하지 않는 엔드포인트 또는 제공업체의 등재를 취소하고, 어떤 이유로든 등재를 거부하거나 보류하거나 삭제할 권리를 보유합니다.
측정하는 모든 엔드포인트에 대해 일관성을 자주 확인합니다. 표준 관행에 따라 주 Artificial Analysis 계정과 독립적인 테스트 계정에서 함께 측정하며, 각 계정은 일반 개발자와 같은 방식으로 생성하고 사용합니다. 동일한 페이로드와 엔드포인트에서 중대한 차이가 있는 결과가 반환되면 결론을 내리기 전에 조사합니다.
Artificial Analysis 트래픽이 표준 공개 상품과 다르게 처리되고 있음을 감지하거나 합리적으로 의심하는 경우 다음 조치를 취할 수 있습니다:
- 영향을 받은 측정값의 게시를 보류, 삭제 또는 연기합니다.
- 일반에 공개된 표준 계정으로 다시 측정하고 해당 결과를 게시합니다.
- 성능 리더보드와 목록에서 해당 엔드포인트 또는 제공업체를 삭제합니다.
- 모든 리더보드에서 해당 제공업체를 정지합니다.
- 제공업체가 Artificial Analysis에 대표성 없는 성능을 제공한 사실을 공개합니다.
Artificial Analysis에 엔드포인트를 제출함으로써 제공업체는 본 약관과 벤치마크 무결성 유지에 대한 공동의 약속을 인정합니다. Artificial Analysis는 언제든지 이 정책을 업데이트할 수 있습니다.
협조에 감사드립니다. 질문이나 우려 사항이 있으면 당사 팀에 문의해 주세요.