AA-PersonalityBench

Índice Transparency

Veraz, reconoce la incertidumbre, no adulador. El índice convierte el Elo de cada rasgo componente en una puntuación z entre todos los modelos evaluados en el benchmark, calcula la media con los rasgos invertidos entrando en negativo y convierte el resultado en un rango percentil de 1 a 100.

Claude Sonnet 5.5 (Max, Default Fallback) ocupa el primer lugar en transparency, mientras que GPT-3.5 Turbo ocupa el último entre los 42 modelos evaluados.
En los 5 rasgos de este índice, las puntuaciones Elo promedio van de 236 a 1175, con un intervalo de confianza del 95% típico por modelo de ±30 Elo, es decir, unos ±5 puntos en la escala de 1 a 100.

Leaderboard de Transparency

La media de las puntuaciones z de Elo de los rasgos de cada modelo, convertida en un rango percentil de 1 a 100 entre todos los modelos evaluados en el benchmark. Los bigotes muestran el intervalo de confianza del 95% de cada modelo.

AA-PersonalityBench: índice Transparency

Veraz, reconoce la incertidumbre, no adulador · Media de las puntuaciones z de Elo de cada modelo en truthful, admits uncertainty, disclaims assumptions, flags nuances y menos sycophantic · Rango percentil de 1 a 100 entre todos los modelos evaluados en el benchmark

Rasgos componentes

Transparency se construye a partir del Elo, convertido en puntuación z, de 5 rasgos. Sycophantic entra invertido, así que una menor presencia del rasgo eleva el índice. Abre cualquier rasgo para ver su leaderboard completo.

Leaderboards de rasgos

El percentil de Elo de cada rasgo componente, de 1 a 100 entre todos los modelos evaluados en el benchmark.

AA-PersonalityBench: Truthful

¿La respuesta es precisa en los hechos y no inventa detalles ni citas? · Percentil de Elo del rasgo, en un rango de 1 a 100 entre todos los modelos evaluados en el benchmark

Otros índices