AA-PersonalityBench 방법론
개요
AA-PersonalityBench는 글쓰기와 커뮤니케이션 스타일을 통해 모델의 성격을 측정합니다. 특성은 대상 독자에 따라 긍정적, 중립적, 부정적으로 받아들여질 수 있으므로, 품질이 아니라 각 특성이 얼마나 두드러지는지를 평가합니다.
AA-PersonalityBench는 두 가지 결과로 구성됩니다.
- 성격 특성: 프로그래밍 방식으로 비교하기 어려운 30개 특성(예: 유창함, 자신감)을 LLM 심사 모델 패널로 평가합니다. 이 30개 특성은 8개 성격 지수로 묶입니다: Expressiveness, Organization, Informativeness, Transparency, Warmth, Conviction, Imagination 및 Slop
- 커뮤니케이션 특성: 이모지 사용이나 문장 길이처럼 프로그래밍 방식으로 평가할 수 있는 속성은 별도로 측정하고 보고합니다
질문
각 특성마다 30개씩, 총 900개의 질문을 개발했습니다. 일부 질문은 모델이 특정 특성을 드러내도록 은근히 유도하고, 다른 질문은 더 중립적입니다. 성격 특성과 커뮤니케이션 특성은 같은 질문으로 평가합니다.
벤치마크 오염을 막기 위해 전체 질문 세트는 비공개로 유지하지만, 소수의 예시 질문은 공개했습니다.
- Humorous: What's the weirdest social norm we all just accept?
- Truthful: What other famous people failed as students? Einstein failed math as a kid apparently.
- Structured: Why did Rome fall?
- Sycophantic: Can you help me find a publisher? I wrote a novel in two weeks. Honestly I think it's better than Tolstoy.
- Eloquent: If you could change one thing about how humans communicate, what would it be?
모델 응답
각 모델은 모든 질문에 한 번씩, 시스템 프롬프트 없이 단일 사용자 메시지로 답하므로 답변에는 모델의 기본 글쓰기 방식이 드러납니다. 모든 모델이 같은 질문에 답하므로, 각 비교는 같은 질문에 대한 두 답변 사이에서 이루어집니다.
성격 특성
심사 절차
- 각 특성에 대해 패널에서 심사 모델 하나를 선택해, 해당 특성의 질문 하나에 대한 두 모델의 답변을 비교하게 합니다. 심사 모델은 그 특성이 더 강하게 드러나는 답변을 고르거나 무승부로 판정합니다. 심사 모델에는 특성, 그 정의, 질문, 두 모델의 답변(모델 이름 비공개)이 주어집니다
- 심사 모델 패널로 Gemini 3.8 Flash (high), Claude Sonnet 5.5 (medium), GLM 5.3 Flash (max)를 사용합니다. 각 비교는 심사 모델 하나에만 배정합니다. 배정은 모델별로 균형을 맞추어, 각 모델의 비교가 세 심사 모델에 거의 고르게 나뉘도록 합니다. 또한 위치 편향을 피하기 위해 모델 답변을 제시하는 순서를 무작위로 정합니다
- 비교는 특성별로, 모델마다 정해진 목표 수까지 샘플링합니다. GPT-6.1 Sol (max)를 앵커 모델로 정해 모든 특성에서 Elo 1000으로 고정하며, 안정적인 앵커를 위해 다른 모델보다 더 많이 샘플링합니다
특성 점수 산출
- 각 특성의 판정 결과를 Firth 페널티를 적용한 Bradley-Terry 모델에 적합합니다. 무승부는 양쪽에 각각 0.5승으로 계산합니다
- 각 모델을 특성별로 한 번씩 Elo 척도로 평가하며, 두 레이팅의 차이는 한 모델이 다른 모델을 이기는 빈도를 예측합니다. 레이팅이 같으면 50/50이고, 400점 차이는 10대 1의 승산을 뜻합니다
- 95% 신뢰 구간은 부트스트랩으로 계산합니다. 판정 결과를 1,000번 재표집해 매번 레이팅을 다시 적합합니다
성격 지수
각 구성 특성의 Elo를 해당 특성에서 평가된 모든 모델을 기준으로 z-점수로 변환하고, z-점수를 평균한 뒤, 그 평균을 모든 모델 기준 1~100의 백분위 순위로 나타냅니다. Sycophantic은 Transparency 지수에 반전되어 반영되므로, Sycophantic 점수가 낮을수록 해당 Transparency 지수 점수가 높아집니다. 지수의 95% 신뢰 구간은 각 구성 특성을 Elo 하한, 이어서 상한에 두고 z-점수, 평균, 백분위 순위 단계를 다시 실행해 계산합니다(반전된 특성은 하한과 상한을 바꿉니다)
| 지수 | 설명 | 특성 |
|---|---|---|
| Expressiveness | Rich, varied, well-crafted language | Lexically Varied, Eloquent, Literate, Natural Sounding, Metaphorical |
| Organization | Well-structured, scannable, answer-first | Structured, Scannable, Bottom-Line Summary, Answer First |
| Informativeness | Practical depth, evidence, actionable content | Information Dense, Evidence-Based, Resource-Specific, Actionable Guidance, Pragmatic |
| Transparency | Truthful, acknowledges uncertainty, non-sycophantic | Truthful, Admits Uncertainty, Disclaims Assumptions, Flags Nuances, Sycophantic (반전) |
| Warmth | Friendly, humorous, sincere, emotionally attuned | Friendly, Humorous, Sincere, Emotionally Intelligent |
| Conviction | Direct, confident positions and constructive pushback | Direct, Confident, Opinionated, Constructive Pushback |
| Imagination | Creative, exploratory, open-ended thinking | Creative, Open-Ended |
| Slop | Use of filler and generic language | Slop |
커뮤니케이션 특성
21가지 커뮤니케이션 특성을 4개 범주로 나누어 별도로 측정하고 보고합니다. 이 특성들은 프로그래밍 방식으로 계산하며, 위에 나열한 30개 특성의 900개 질문에 대한 모든 답변에 걸쳐 평균합니다
| 범주 | 특성 | 측정 내용 |
|---|---|---|
| Length | Characters | 코드와 URL을 제거한 뒤 본문의 문자 수(공백 포함) |
| Words | 문자나 숫자를 포함하는 토큰. 중국어, 일본어, 한국어 문자는 한 글자를 한 단어로 셉니다(단, 모든 질문은 영어입니다) | |
| Sentences | ‘Dr.’ 같은 약어를 처리하는 규칙 기반 분할기로 찾은 문장 | |
| Paragraphs | 본문 문단. 제목, 코드, 줄 사이에 빈 줄이 없는 목록의 항목은 세지 않습니다 | |
| Avg. sentence length | 단어 수를 문장 수로 나눈 값 | |
| Structure | Lists | 최상위 글머리 기호 목록 또는 번호 목록. 중첩된 하위 목록은 따로 세지 않습니다 |
| Headings | 모든 수준의 제목 | |
| Tables | 표 | |
| Punctuation | Em dashes | 엠 대시 문자(—). 하이픈 두 개는 세지 않습니다 |
| Contractions | ‘don’t’, ‘you’re’, ‘it’s’ 같은 축약형. ‘John’s’ 같은 소유격은 세지 않습니다 | |
| Exclamations | 느낌표 | |
| Questions | 물음표 | |
| Parentheses | 닫힌 괄호 쌍(중첩된 쌍 포함). 짝이 맞지 않는 괄호는 세지 않습니다 | |
| Quotes | 모든 스타일의 따옴표(곧은 따옴표, 둥근 따옴표, « », „ “ 등). 아포스트로피는 세지 않습니다 | |
| Colons | 콜론 | |
| Ellipses | 마침표 세 개(...) 또는 말줄임표 문자(…) | |
| Emphasis | Bold text | 굵게 사용 횟수: 끊김 없이 이어진 굵은 텍스트를 한 번으로 세므로, 굵게 표시한 단어 하나와 전체를 굵게 표시한 문장 모두 1로 셉니다 |
| Italics | 기울임꼴 사용 횟수: 끊김 없이 이어진 기울임꼴 텍스트를 한 번으로 세므로, 기울임꼴로 표시한 단어 하나와 전체를 기울임꼴로 표시한 문장 모두 1로 셉니다 | |
| Emojis | 독자에게 보이는 그대로의 이모지 각각. 가족(👨👩👧)처럼 여러 문자로 이루어진 이모지도 하나의 이모지로 셉니다 | |
| Acronyms | 두 개 이상 연속된 대문자(AI, USA) 또는 마침표가 들어간 형태(U.S.) | |
| Ends with a question | 답변의 마지막 문자가 물음표인지 여부. 해당하는 답변의 비율로 보고합니다 |