Metodologia do Openness Index

Visão geral

O Artificial Analysis Openness Index é uma métrica composta que mede o grau de disponibilidade aberta e transparência da documentação dos modelos de IA. Ele abrange tanto a disponibilidade dos pesos dos modelos quanto a transparência dos dados e da metodologia usados para criá-los.

Cada modelo é avaliado com base em todas as informações públicas disponibilizadas diretamente por seus criadores. Quando os modelos são derivados de um modelo-base de terceiros, eles podem estar sujeitos às restrições da licença ou à divulgação limitada do modelo de origem. Em versões incrementais ou de atualização, consideramos apenas as informações divulgadas explicitamente sobre a nova versão, inclusive declarações dos criadores dos modelos sobre quais componentes permanecem iguais aos de uma versão anterior.

Uma especificação detalhada da metodologia está disponível para download em PDF.

Composição do índice

Dimensão

Componente

Pontuação

1. Disponibilidade do modelo

Pesos

Acesso

0Pesos fechados, sem API

1Pesos fechados, a API limita a visibilidade dos tokens

2Pesos fechados, API disponível

3Pesos abertos

Licença

0Pesos fechados ou uso comercial não permitido

1Uso comercial permitido, com atribuição obrigatória

2Uso comercial permitido, sem atribuição obrigatória

3Uso comercial permitido, sem atribuição obrigatória nem limitações relevantes

2. Transparência do modelo

Dados:Pré e pós-treinamento(a pontuação representa a média entre os dois)

Acesso

0Nenhuma divulgação ou divulgação limitada

1Divulgação parcial das fontes e da categorização dos dados

2Divulgação completa da composição dos dados, com compartilhamento de uma quantidade substancial de dados¹

3Compartilhamento de todos os dados

Licença (mais restritiva)

0Uso comercial não permitido/nenhuma quantidade substancial de dados compartilhada

1Uso comercial permitido, com atribuição obrigatória

2Uso comercial permitido, sem atribuição obrigatória

3Uso comercial permitido, sem atribuição obrigatória nem limitações relevantes

Metodologia

Divulgação

0Nenhuma divulgação ou divulgação limitada

1Divulgação da arquitetura do modelo

2Divulgação técnica geral limitada

3Divulgação de todos os detalhes técnicos

Licença (mais restritiva)

0Nenhum código divulgado/disponibilizado

1Frameworks divulgados e disponíveis abertamente para uso comercial

2Código ou guia do pipeline de treinamento de ponta a ponta disponibilizado

3Código ou guia do pipeline de treinamento de ponta a ponta disponibilizado, com uso comercial permitido

Cada componente recebe uma pontuação em uma escala qualitativa de 0 a 3, com base no arquétipo de abertura mais adequado. Cada modelo é avaliado com base em todas as informações públicas disponibilizadas diretamente por seus criadores.

Quando os modelos são derivados de um modelo-base de terceiros, eles podem estar sujeitos às restrições da licença ou à divulgação limitada do modelo de origem. Em versões incrementais ou de atualização, consideramos apenas as informações divulgadas explicitamente sobre a nova versão, inclusive declarações dos criadores dos modelos sobre quais componentes permanecem iguais aos de uma versão anterior.

Cálculo da pontuação

A pontuação final do Openness Index é calculada da seguinte forma:

Os componentes de dados recebem pontuações separadas para pré-treinamento e pós-treinamento, das quais é calculada a média para produzir uma pontuação combinada de dados (até 6 pontos possíveis entre Acesso e Licença).
As pontuações de todos os componentes são somadas, totalizando uma pontuação bruta máxima de 18.
A pontuação bruta é normalizada em uma escala de 0 a 100: