Artificial Analysis Progress Index v1

Artificial Analysis Progress Index v1은 벤치마크 결과를 바탕으로 모델의 역량과 과제의 난이도를 함께 추정하는 문항 반응 이론으로 계산합니다. 이를 통해 서로 다른 벤치마크로 평가한 모델을 시간의 흐름에 따라 비교할 수 있습니다.

어떤 모델이 과제에 성공하거나 실패했는지를 바탕으로 과제의 난이도를 추정하는 동시에, 각 모델의 여러 과제 결과를 바탕으로 역량을 추정합니다.

예를 들어, 이전 모델은 더 쉬운 벤치마크에서, 최신 모델은 더 어려운 벤치마크에서 평가되었을 수 있습니다. 두 벤치마크 집합에서 모두 평가된 모델의 결과를 통해 난이도 차이를 추정하고 이전 모델과 최신 모델을 같은 척도에서 비교할 수 있습니다.

각 연구소의 선은 각 시점에 이용 가능한 해당 연구소의 모델 중 점수가 가장 높은 모델을 보여주며, 각 모델의 effort 설정별 변형 중 점수가 가장 높은 변형을 사용합니다. Progress Index v1 방법론 읽기.