Openness Index 방법론

개요

Artificial Analysis Openness Index는 AI 모델이 얼마나 공개적으로 제공되고 투명하게 문서화되어 있는지 측정하는 종합 지표입니다. 모델 웨이트의 가용성뿐 아니라 모델 제작에 사용된 기반 데이터와 방법론의 투명성도 다룹니다.

각 모델은 공개된 공식 정보 전체를 바탕으로 평가합니다. 타사의 기반 모델에서 파생된 모델은 업스트림 모델의 라이선스나 제한적인 정보 공개에 제약받을 수 있습니다. 증분 릴리스 또는 업데이트 릴리스의 경우 새 릴리스에 관해 명시적으로 공개된 정보만 고려합니다. 여기에는 모델 개발사가 이전 릴리스와 동일하게 유지된 구성 요소를 밝히는 경우도 포함됩니다.

자세한 방법론 명세는 PDF로 다운로드할 수 있습니다.

지수 구성

1. 모델 가용성
웨이트
접근성
0클로즈드 웨이트, API 없음
1클로즈드 웨이트, API에서 토큰 가시성 제한
2클로즈드 웨이트, API 제공
3오픈 웨이트
라이선스
0클로즈드 웨이트 또는 상업적 이용 불가
1상업적 이용 가능, 저작자 표시 필요
2상업적 이용 가능, 저작자 표시 불필요
3상업적 이용 가능, 저작자 표시 불필요, 유의미한 제한 없음
2. 모델 투명성
데이터:사전 학습 및 사후 학습(각각의 평균 점수)
접근성
0정보를 공개하지 않거나 제한적으로 공개
1데이터 출처 세부 정보와 분류를 일부 공개
2전체 데이터 구성을 공개하고 상당량의 데이터를 공유¹
3전체 데이터 공유
라이선스(가장 제한적인 기준)
0상업적 이용 불가/상당량의 데이터를 공유하지 않음
1상업적 이용 가능, 저작자 표시 필요
2상업적 이용 가능, 저작자 표시 불필요
3상업적 이용 가능, 저작자 표시 불필요, 유의미한 제한 없음
방법론
정보 공개
0정보를 공개하지 않거나 제한적으로 공개
1모델 아키텍처 공개
2일반적인 기술 정보를 제한적으로 공개
3전체 기술 세부 정보 공개
라이선스(가장 제한적인 기준)
0코드를 공개하지 않음
1프레임워크를 공개하고 상업적 이용을 위해 개방적으로 제공
2종단 간 학습 파이프라인 코드 또는 가이드 공개
3종단 간 학습 파이프라인 코드 또는 가이드를 공개하고 상업적 이용 허용

각 구성 요소는 가장 잘 들어맞는 개방성 유형을 기준으로 0~3점의 정성적 척도로 평가하며, 각 모델은 공개된 공식 정보 전체를 바탕으로 평가합니다.

타사의 기반 모델에서 파생된 모델은 업스트림 모델의 라이선스나 제한적인 정보 공개에 제약받을 수 있습니다. 증분/업데이트 릴리스의 경우 새 릴리스에 관해 명시적으로 공개된 정보만 고려합니다. 여기에는 모델 개발사가 이전 릴리스와 동일하게 유지된 구성 요소를 밝히는 경우도 포함됩니다.

점수 계산

최종 Openness Index 점수는 다음과 같이 산출합니다.

  • 데이터 구성 요소는 사전 학습과 사후 학습을 별도로 평가한 뒤 평균을 내 통합 데이터 점수를 산출합니다. 접근성과 라이선스를 합해 최대 6점입니다.
  • 모든 구성 요소 점수를 합산하며 원점수는 최대 18점입니다.
  • 원점수를 0~100 척도로 정규화합니다.