Artificial Analysis 벤치마킹 방법론

범위

Artificial Analysis는 AI 모델, 추론 API 엔드포인트 및 시스템의 지능, 품질, 성능, 가격을 벤치마킹합니다. 웹사이트의 이 섹션에서는 품질 벤치마킹과 성능 벤치마킹을 포함한 벤치마킹 방법론을 설명합니다.

언어 모델 벤치마킹에서는 고객이 시스템 이용에 고정 요금을 지불하지 않고 사용량에 대해서만 지불하는 엔드포인트를 서버리스로 간주합니다. 일반적으로 이는 엔드포인트 가격이 토큰 단위로 책정되며, 입력 토큰과 출력 토큰의 가격이 서로 다른 경우가 많다는 뜻입니다.

모든 모달리티에서 성능 벤치마킹은 AI 추론 서비스와 시스템 고객이 경험하는 종단 간 성능을 측정합니다. 따라서 벤치마크 결과는 특정 하드웨어 플랫폼에서 가능한 최대 성능을 나타내기 위한 것이 아니라, 고객이 여러 제공업체에서 경험하는 실제 성능을 나타내기 위한 것입니다.

독점 모델과 오픈 웨이트 모델을 모두 벤치마킹합니다.

모델: 독점 모델, 오픈 소스 모델, 오픈 웨이트 모델을 포함한 대규모 언어 모델(LLM)입니다.
모델 개발사: 모델을 개발하고 훈련한 조직입니다. 예를 들어 OpenAI는 GPT-4의 개발사이고 Meta는 Llama 3의 개발사입니다.
엔드포인트: API를 통해 액세스할 수 있도록 호스팅된 모델 인스턴스입니다. 하나의 모델에 여러 제공업체의 엔드포인트가 있을 수 있습니다.
시스템: AI 모델을 실행하는 전용 컴퓨팅 환경입니다. 일반적으로 VM처럼 프로비저닝된 인프라이며, 부하가 걸린 상태의 성능을 벤치마킹할 수 있습니다.
제공업체: 하나 이상의 모델 엔드포인트나 시스템을 호스팅하고 이에 대한 액세스를 제공하는 회사입니다. OpenAI, AWS Bedrock, Together.ai 등이 있습니다. 한 회사가 모델 개발사이면서 제공업체인 경우가 많습니다.
서버리스: 사용량에 따라 제공되는 클라우드 서비스입니다. LLM 추론 API의 경우 일반적으로 입력 및 출력 토큰당 가격이 책정된다는 뜻입니다. 서버리스 클라우드 제품도 실제로는 서버에서 실행됩니다!
오픈 웨이트: 개발사가 가중치를 공개한 모델입니다. 많은 오픈 LLM이 오픈 소스 소프트웨어의 완전한 정의를 충족하지 않는 라이선스로 공개되었으므로 '오픈 소스' 대신 '오픈 웨이트' 또는 간단히 '오픈' 모델이라고 부릅니다.
토큰: 최신 LLM은 단어와 문자를 수치로 표현한 토큰을 중심으로 구축됩니다. LLM은 토큰을 입력으로 받아 토큰을 출력으로 생성합니다. 입력 텍스트는 토크나이저를 통해 토큰으로 변환됩니다. LLM마다 서로 다른 토크나이저를 사용합니다.
네이티브 토큰: LLM 자체 토크나이저가 세고 보통 제공업체 API가 보고하는 토큰입니다. 가격은 일반적으로 네이티브 토큰을 기준으로 하며, 출력 속도 같은 당사의 성능 지표도 네이티브 토큰으로 계산합니다.
가격(입력/출력): 모델로 전송한 입력 토큰과 모델에서 받은 출력 토큰에 대해 제공업체가 토큰당 청구하는 가격입니다. 표시된 가격은 제공업체가 현재 게시한 가격입니다.
가격(혼합): 보다 쉽게 비교할 수 있도록 캐시 적중, 입력, 출력 토큰의 비율을 7:2:1로 가정해 혼합 가격을 계산합니다.
작업당 비용: Artificial Analysis Intelligence Index 작업 하나를 완료하는 데 드는 가중 평균 비용(USD)입니다. 워크로드 전체에서 사용된 입력, 캐시 및 출력 토큰 수에 각 가격을 곱하고 Intelligence Index에서 사용하는 것과 동일한 벤치마크별 가중치를 적용한 다음, 작업 수로 나누어 계산합니다. 가격은 제공업체의 자체 API 요금 또는 모든 제공업체 가격의 중앙값을 사용합니다. 캐싱 비용은 제공업체마다 다릅니다. 비용은 실제 토큰 사용량을 반영하므로 토큰당 가격이 같더라도 더 긴 답변이나 더 많은 추론 토큰을 생성하는 모델은 작업당 비용이 더 높습니다.
여기서 i = Artificial Analysis Intelligence Index의 각 벤치마크이고, w = Index에서 해당 벤치마크의 가중치
작업당 시간: Artificial Analysis Intelligence Index 작업 하나를 완료하는 데 걸리는 추정 가중 평균 시간입니다. 각 벤치마크에 대해 작업당 답변 토큰과 추론 토큰을 모델의 출력 속도로 나눈 다음, Intelligence Index에서 사용하는 것과 동일한 벤치마크별 가중치를 적용합니다. 출력 속도는 API 성능 벤치마크에서 가져오며, 각 요청의 전체 소요 시간 동안의 초당 출력 토큰 수를 최근 5일간 측정한 워크로드에 걸쳐 평균한 값입니다. 모델의 대표 엔드포인트(보통 모델 개발사의 자체 API이며 가격에도 사용)에서 측정하며, 대표 엔드포인트가 없거나 측정값이 없으면 모델의 측정된 엔드포인트 간 중앙값을 사용합니다. 제공업체 페이지처럼 엔드포인트별 작업당 시간을 보여 줄 때는 해당 엔드포인트의 출력 속도를 사용합니다. 작업당 시간은 평가 실행 시간을 재지 않고 토큰 수와 속도로 계산하므로, 대표적인 API 속도를 반영합니다.
여기서 i = Artificial Analysis Intelligence Index의 각 벤치마크, w = Index에서 해당 벤치마크의 가중치, Output Speed = 모델의 출력 속도(초당 토큰 수)
첫 답변 토큰까지 걸린 시간: 서비스 또는 시스템에 요청을 보낸 시점부터 응답의 첫 답변 토큰을 받은 시점까지의 시간(초)입니다. 추론 모델에서는 추론에 걸린 시간이 포함되므로, 첫 토큰까지 걸린 시간과 달리 추론 모델과 비추론 모델의 답변 대기 시간을 같은 방식으로 측정합니다. 멀티턴 워크로드에서는 세션의 턴 전체에 걸쳐 평균을 냅니다.
첫 토큰까지 걸린 시간: 서비스 또는 시스템에 요청을 보낸 시점부터 응답의 첫 토큰을 받은 시점까지의 시간(초)입니다. 추론 토큰을 반환하는 추론 모델에서는 첫 추론 토큰이 이에 해당합니다. 멀티턴 워크로드에서는 세션의 턴 전체에 걸쳐 평균을 냅니다.
출력 속도(초당 출력 토큰 수): 요청 전송부터 마지막 토큰 수신까지 요청의 전체 소요 시간 동안 초당 수신한 출력 토큰(추론 토큰 포함) 수로, 첫 토큰까지 걸린 시간이 포함됩니다. 멀티턴 세션에서는 세션의 출력 토큰 수를 엔드포인트가 요청에 응답하는 데 걸린 시간으로 나누며, 요청 사이에 도구가 실행되는 시간은 제외합니다.
종단 간 시간: 요청을 보낸 시점부터 마지막 토큰을 받은 시점까지의 시간(초)으로, 요청마다 측정합니다. 멀티턴 세션에서는 세션의 모든 요청을 합한 시간이며, 요청 사이에 도구가 실행되는 시간은 제외합니다.
엔드포인트 오류율: 최근 5일 동안 엔드포인트에 보낸 요청 중 엔드포인트 측에서 실패한 요청의 비율입니다. 멀티턴 세션은 하나의 요청으로 계산하며, 세션 안의 요청 중 하나라도 실패하면 실패로 봅니다. 잘못된 API 키, 크레딧 소진이나 당사 계정의 할당량, 잘못되었거나 컨텍스트 윈도를 초과해 거부된 요청, 답변 전에 당사의 max_tokens 한도로 잘린 응답, 안전 차단, 샌드박스 오류 등 엔드포인트에 귀속되지 않는 실패는 제외합니다. 엔드포인트의 속도 제한, 시간 초과, 벤치마크 마감 시점에 아직 실행 중인 요청 등 엔드포인트 측의 오류는 계산에 포함합니다. 워크로드 전체에 걸쳐 요청을 합산한 뒤 나눕니다.
캐시 적중률: 캐시 가능한 입력 토큰 중 제공업체의 프롬프트 캐시에서 제공된 비율로, 멀티턴 에이전트형 세션 중 제공업체 API가 보고한 값을 기준으로 합니다. 각 엔드포인트에 대해 최근 측정값을 바탕으로 한 대표 캐시 적중률을 보고합니다.

Artificial Analysis 벤치마킹 방법론

범위

언어 모델 지능

음성, 이미지, 동영상 및 음악

추론

기타

용어 정의