Metodología del Openness Index
Resumen
El Artificial Analysis Openness Index es una métrica compuesta que mide hasta qué punto los modelos de IA están disponibles de forma abierta y documentados con transparencia. Cubre tanto la disponibilidad de los pesos del modelo como la transparencia de los datos y la metodología subyacentes usados para crear el modelo.
Cada modelo se evalúa según el conjunto completo de información pública oficial disponible. Cuando los modelos se derivan de un modelo base de terceros, pueden estar limitados por la licencia o la divulgación limitada del modelo de origen. Para versiones incrementales o de actualización, solo se consideran las divulgaciones explícitamente relacionadas con la nueva versión (incluyendo permitir a los creadores del modelo declarar qué componentes siguen siendo consistentes con una versión anterior).
Hay una especificación metodológica detallada disponible para descargar como PDF.
Composición del índice
Cada componente se puntúa en una escala cualitativa de 0–3 según el arquetipo de apertura que mejor encaje, y cada modelo se evalúa con base en el conjunto completo de información pública oficial disponible.
Cuando los modelos se derivan de un modelo base de terceros, pueden estar limitados por la licencia o la divulgación limitada del modelo de origen. Para versiones incrementales/de actualización, solo consideramos divulgaciones explícitamente relacionadas con la nueva versión (incluyendo permitir a los creadores del modelo declarar qué componentes siguen siendo consistentes con una versión anterior).
Cálculo de la puntuación
La puntuación final del Openness Index se deriva de la siguiente forma:
- Los componentes de datos se puntúan por separado para preentrenamiento y postentrenamiento, y luego se promedian para producir una puntuación combinada de datos (hasta 6 puntos posibles entre Acceso y Licencia).
- Todas las puntuaciones de componentes se suman, con una puntuación bruta máxima de 18.
- La puntuación bruta se normaliza a una escala de 0–100: