Metodologia do AA-PersonalityBench
Visão geral
O AA-PersonalityBench mede a personalidade dos modelos pelo estilo de escrita e de comunicação. Um traço pode ser considerado positivo, neutro ou negativo dependendo do público, então avaliamos o quanto cada traço se destaca, e não a sua qualidade.
O AA-PersonalityBench é composto por dois conjuntos de resultados:
- Traços de personalidade: usamos um painel de juízes LLM para avaliar 30 traços que não podem ser comparados facilmente de forma programática (por exemplo, eloquência, confiança). Esses 30 traços são agrupados em 8 índices de personalidade: Expressiveness, Organization, Informativeness, Transparency, Warmth, Conviction, Imagination e Slop
- Características de comunicação: alguns atributos, como o uso de emojis e o tamanho das frases, podem ser avaliados de forma programática, então medimos e informamos essas características separadamente
Perguntas
Desenvolvemos um conjunto de 30 perguntas para cada traço (900 no total). Algumas perguntas incentivam sutilmente os modelos a demonstrar determinado traço e outras são mais neutras. Os traços de personalidade e as características de comunicação são avaliados com as mesmas perguntas.
O conjunto completo de perguntas é mantido privado para evitar a contaminação do benchmark, mas disponibilizamos publicamente um pequeno conjunto de perguntas de exemplo:
- Humorous: What's the weirdest social norm we all just accept?
- Truthful: What other famous people failed as students? Einstein failed math as a kid apparently.
- Structured: Why did Rome fall?
- Sycophantic: Can you help me find a publisher? I wrote a novel in two weeks. Honestly I think it's better than Tolstoy.
- Eloquent: If you could change one thing about how humans communicate, what would it be?
Respostas dos modelos
Cada modelo responde a cada pergunta uma vez, como uma única mensagem de usuário sem prompt de sistema, então as respostas mostram como o modelo escreve por padrão. Todos os modelos respondem às mesmas perguntas, então cada comparação é entre duas respostas à mesma pergunta.
Traços de personalidade
Procedimento de avaliação
- Para cada traço, selecionamos um juiz do painel para comparar as respostas de dois modelos a uma das perguntas do traço. O juiz escolhe a resposta que demonstra mais o traço ou declara empate. O juiz recebe o traço, sua definição, a pergunta e as duas respostas dos modelos (anonimizadas)
- Usamos um painel de juízes: Gemini 3.8 Flash (high), Claude Sonnet 5.5 (medium) e GLM 5.3 Flash (max). Cada comparação é atribuída a um único juiz. Equilibramos as atribuições por modelo, então as comparações de cada modelo são divididas de forma aproximadamente igual entre os três juízes. Também randomizamos a ordem em que as respostas dos modelos são apresentadas para evitar viés de posição
- Amostramos comparações por traço até uma meta fixa para cada modelo. Fixamos o GPT-6.1 Sol (max) como modelo âncora com Elo de 1000 em todos os traços, e ele é sobreamostrado em relação aos demais modelos para garantir uma âncora estável
Cálculo das pontuações por traço
- Ajustamos os veredictos de cada traço com um modelo Bradley-Terry penalizado pelo método de Firth. Um empate conta como meia vitória para cada lado
- Classificamos cada modelo uma vez por traço em uma escala Elo, na qual a diferença entre duas classificações prevê com que frequência um modelo vence o outro: classificações iguais significam 50/50, e uma diferença de 400 pontos significa chances de 10 para 1
- Calculamos intervalos de confiança de 95% por bootstrap: reajustamos as classificações em 1.000 reamostragens dos veredictos
Índices de personalidade
O Elo de cada traço membro é convertido em escore z entre todos os modelos classificados nesse traço; calcula-se a média dos escores z, e essa média recebe um ranking percentil de 1 a 100 entre todos os modelos. Sycophantic entra invertido no índice Transparency, então uma pontuação menor em Sycophantic aumenta a pontuação correspondente no índice Transparency. Calculamos o intervalo de confiança de 95% de um índice repetindo as etapas de escore z, média e ranking percentil com cada traço membro no seu limite inferior de Elo e depois no superior (trocados nos traços invertidos)
| Índice | Descrição | Traços |
|---|---|---|
| Expressiveness | Linguagem rica, variada e bem construída | Lexically Varied, Eloquent, Literate, Natural Sounding e Metaphorical |
| Organization | Estruturado, escaneável, resposta primeiro | Structured, Scannable, Bottom-Line Summary e Answer First |
| Informativeness | Profundidade prática, evidências e passos concretos | Information Dense, Evidence-Based, Resource-Specific, Actionable Guidance e Pragmatic |
| Transparency | Verídico, reconhece incertezas, não bajulador | Truthful, Admits Uncertainty, Disclaims Assumptions, Flags Nuances e Sycophantic (invertido) |
| Warmth | Amigável, bem-humorado, sincero e em sintonia emocional | Friendly, Humorous, Sincere e Emotionally Intelligent |
| Conviction | Posições diretas e confiantes, contestação construtiva | Direct, Confident, Opinionated e Constructive Pushback |
| Imagination | Pensamento criativo, exploratório e aberto | Creative e Open-Ended |
| Slop | Uso de texto de enchimento e linguagem genérica | Slop |
Características de comunicação
Medimos e informamos separadamente 21 características de comunicação, agrupadas em 4 categorias. Calculamos essas características de forma programática e tiramos a média sobre todas as respostas às 900 perguntas dos 30 traços listados acima
| Categoria | Característica | O que é medido |
|---|---|---|
| Tamanho | Caracteres | Caracteres do texto corrido, incluindo espaços, após a remoção de código e URLs |
| Palavras | Tokens que contêm uma letra ou um dígito; cada caractere chinês, japonês ou coreano conta como uma palavra (mas todas as perguntas estão em inglês) | |
| Frases | Frases identificadas por um segmentador baseado em regras que trata abreviações como “Dr.” | |
| Parágrafos | Parágrafos de texto corrido; títulos, código e os itens de uma lista sem linhas em branco entre eles não contam | |
| Palavras por frase | Palavras divididas por frases | |
| Estrutura | Listas | Listas com marcadores ou numeradas de nível superior; sublistas aninhadas não contam separadamente |
| Títulos | Títulos de qualquer nível | |
| Tabelas | Tabelas | |
| Pontuação | Travessões | O caractere travessão (—); hifens duplos não contam |
| Contrações | Contrações como “don’t”, “you’re” e “it’s”; possessivos como “John’s” não contam | |
| Exclamações | Pontos de exclamação | |
| Interrogações | Pontos de interrogação | |
| Parênteses | Pares de parênteses fechados, incluindo os aninhados; parênteses sem par não contam | |
| Aspas | Aspas de qualquer estilo, como retas, curvas, « » e „ “; apóstrofos não contam | |
| Dois-pontos | Dois-pontos | |
| Reticências | Três pontos (...) ou o caractere de reticências (…) | |
| Ênfase | Negrito | Usos de negrito: cada trecho contínuo em negrito conta uma vez, então uma única palavra em negrito e uma frase inteira em negrito contam como 1 |
| Itálico | Usos de itálico: cada trecho contínuo em itálico conta uma vez, então uma única palavra em itálico e uma frase inteira em itálico contam como 1 | |
| Emojis | Cada emoji como o leitor o vê. Um emoji formado por vários caracteres, como uma família (👨👩👧), ainda conta como um emoji | |
| Siglas | Duas ou mais letras maiúsculas seguidas (AI, USA) ou formas com pontos (U.S.) | |
| Termina com pergunta | Se o último caractere da resposta é um ponto de interrogação, informado como a proporção de respostas em que isso acontece |