Metodología de benchmarking de Artificial Analysis

Alcance

Artificial Analysis realiza benchmarks de inteligencia, calidad, rendimiento y precio de modelos de IA, endpoints de APIs de inferencia y sistemas. Esta sección de nuestro sitio web describe nuestra metodología de benchmarking, incluyendo nuestros benchmarks de calidad y de rendimiento.

Para nuestros benchmarks de modelos de lenguaje, consideramos que los endpoints son serverless cuando los clientes solo pagan por su uso, no una tarifa fija por acceder a un sistema. Normalmente esto significa que los endpoints tienen precios por token, a menudo con precios distintos para tokens de entrada y de salida.

En todas las modalidades, nuestros benchmarks de rendimiento miden el rendimiento de extremo a extremo que experimentan los clientes de servicios y sistemas de inferencia de IA. Esto significa que los resultados no buscan representar el rendimiento máximo posible en una plataforma de hardware concreta, sino el rendimiento real que los clientes experimentan entre proveedores.

Evaluamos tanto modelos propietarios como modelos de pesos abiertos.

Inteligencia de modelos de lenguaje

Inteligencia de modelos de lenguajeÍndices de capacidadCyber IndexDecision IndexInteligencia de modelos de lenguaje pequeñosEndpoint Accuracy IndexAgentes de programaciónAA-3DProgress Index v1

Voz, imagen, video y música

Voz a textoTexto a vozVoz a vozTexto a imagenGeneración de videoGeneración de música

Inferencia

Rendimiento de APIs de modelos de lenguajePrueba de carga de sistemas (AA-SLT)AA-AgentPerf

Varios

Openness IndexAPI de búsquedaAA-PersonalityBench

Definiciones

En esta página, y en todo el sitio web de Artificial Analysis, usamos los siguientes términos:

  • Modelo: Un modelo de lenguaje grande (LLM), incluyendo modelos propietarios, de código abierto y de pesos abiertos.
  • Creador del modelo: La organización que desarrolló y entrenó el modelo. Por ejemplo, OpenAI es el creador de GPT-4 y Meta es el creador de Llama 3.
  • Endpoint: Una instancia alojada de un modelo a la que se puede acceder mediante una API. Un mismo modelo puede tener varios endpoints en distintos proveedores.
  • Sistema: Un entorno de cómputo dedicado para ejecutar modelos de IA, normalmente infraestructura provisionada como una VM, que puede evaluarse en rendimiento bajo carga.
  • Proveedor: Una empresa que aloja y proporciona acceso a uno o más endpoints o sistemas de modelos. Algunos ejemplos son OpenAI, AWS Bedrock, Together.ai y otros. Las empresas suelen ser tanto creadoras de modelos como proveedoras.
  • Serverless: Servicio en la nube proporcionado según uso. En APIs de inferencia de LLMs generalmente significa precio por token de entrada y salida. Los productos serverless en la nube igualmente se ejecutan en servidores.
  • Pesos abiertos: Un modelo cuyos pesos han sido publicados por su creador. Usamos 'pesos abiertos' o simplemente modelos 'abiertos' en lugar de 'open-source', porque muchos LLMs abiertos se publican con licencias que no cumplen la definición completa de software de código abierto.
  • Token: Los LLMs modernos se construyen alrededor de tokens: representaciones numéricas de palabras y caracteres. Los LLMs reciben tokens como entrada y generan tokens como salida. El texto de entrada se traduce en tokens mediante un tokenizador. Distintos LLMs usan distintos tokenizadores.
  • Tokens nativos: Tokens contados por el tokenizador propio de un LLM, normalmente según los reporta la API del proveedor. Los precios generalmente se refieren a tokens nativos, y nuestras métricas de rendimiento, como la velocidad de salida, los cuentan.
  • Precio (entrada/salida): El precio que cobra un proveedor por token de entrada enviado al modelo y por token de salida recibido del modelo. Los precios mostrados son los precios actuales publicados por los proveedores.
  • Precio combinado: Para facilitar la comparación, calculamos un precio combinado asumiendo una proporción 7:2:1 de tokens con acierto de caché, entrada y salida.
  • Coste por tarea: El coste medio ponderado (USD) para completar una tarea del Artificial Analysis Intelligence Index. Para cada benchmark calculamos el precio de los tokens de entrada, de caché y de salida que el modelo realmente utiliza, dividimos entre su número de tareas y ponderamos con los mismos pesos por benchmark que utiliza el Intelligence Index. El precio es la tarifa de la API de primera parte del proveedor, o la mediana entre proveedores cuando esta no está disponible. Como el coste refleja el uso real de tokens, los modelos que razonan más o que producen respuestas más largas tienen un coste por tarea mayor, incluso con los mismos precios por token.

    donde i = cada benchmark del Artificial Analysis Intelligence Index y w = el peso de ese benchmark en el Index, y los tokens de caché incluyen tanto lecturas como escrituras de caché, cada una con su respectiva tarifa de caché

  • Tiempo por tarea: El tiempo medio ponderado estimado para completar una tarea del Artificial Analysis Intelligence Index. Para cada benchmark, dividimos los tokens de respuesta y de razonamiento por tarea entre la velocidad de salida del modelo y ponderamos con los mismos pesos por benchmark que utiliza el Intelligence Index. La velocidad de salida proviene de nuestros benchmarks de rendimiento de API: los tokens de salida por segundo durante toda la duración de cada solicitud, promediados entre las cargas de trabajo que medimos en los últimos 5 días, en el endpoint representativo del modelo, normalmente la API propia del creador del modelo, que también usamos para su precio. Si un modelo no tiene endpoint representativo, o no tenemos mediciones de él, tomamos la mediana entre los endpoints medidos del modelo. Cuando mostramos el tiempo por tarea de un endpoint, como en las páginas de proveedores, usamos la velocidad de salida de ese endpoint. Derivamos el tiempo por tarea de los tokens y la velocidad, en lugar de cronometrar las ejecuciones de evaluación, para que refleje velocidades de API representativas.

    donde i = cada benchmark del Artificial Analysis Intelligence Index, w = el peso de ese benchmark en el Index y Output Speed = la velocidad de salida del modelo en tokens por segundo

  • Tiempo hasta el primer token de respuesta: El tiempo en segundos entre enviar una solicitud al servicio o sistema y recibir el primer token de respuesta. Para modelos de razonamiento, incluye el tiempo de razonamiento, por lo que, a diferencia del tiempo hasta el primer token, mide la espera de una respuesta de la misma forma para modelos con y sin razonamiento. En las cargas de trabajo multiturno, lo promediamos entre los turnos de una sesión.
  • Tiempo hasta el primer token: El tiempo en segundos entre enviar una solicitud al servicio o sistema y recibir el primer token de la respuesta. Para modelos de razonamiento que devuelven tokens de razonamiento, este será el primer token de razonamiento. En las cargas de trabajo multiturno, lo promediamos entre los turnos de una sesión.
  • Velocidad de salida (tokens de salida por segundo): El número de tokens de salida, incluidos los tokens de razonamiento, recibidos por segundo durante toda la duración de una solicitud, desde que se envía hasta que se recibe el último token, por lo que incluye el tiempo hasta el primer token. En una sesión multiturno, dividimos sus tokens de salida entre el tiempo que el endpoint tardó en responder sus solicitudes, sin contar el tiempo que las herramientas tardan en ejecutarse entre ellas.
  • Tiempo de extremo a extremo: El tiempo en segundos entre enviar una solicitud y recibir el último token, medido en cada solicitud. En una sesión multiturno, es el total de las solicitudes de la sesión, sin contar el tiempo que las herramientas tardan en ejecutarse entre ellas.
  • Tasa de errores del endpoint: La proporción de solicitudes de un endpoint en los últimos 5 días que fallaron por parte del endpoint. Una sesión multiturno cuenta como una solicitud, que falla si falla cualquiera de sus solicitudes. Excluimos las fallas que no atribuimos al endpoint, como una clave de API no válida, créditos agotados o la cuota de nuestra cuenta, una solicitud rechazada por no válida o por exceder la ventana de contexto, una respuesta que nuestro límite de max_tokens corta antes de que responda, un bloqueo de seguridad o un error del sandbox. Cuentan los errores por parte del endpoint, incluidos sus límites de tasa, los tiempos de espera agotados y las solicitudes que siguen en curso al cumplirse el plazo del benchmark. Entre cargas de trabajo, agrupamos las solicitudes antes de dividir.
  • Tasa de aciertos de caché: La proporción de tokens de entrada almacenables en caché que se sirven desde la caché de prompts del proveedor, según lo informa la API del proveedor durante sesiones agénticas de varios turnos. Reportamos una tasa de aciertos de caché representativa para cada endpoint con base en sus mediciones recientes.