Metodologia do AA-AgentPerf

Visão geral

O AA-AgentPerf é um benchmark de hardware que mede quantos agentes ativos uma implantação de inferência consegue comportar sob cargas de trabalho agênticas realistas, cumprindo metas de velocidade por agente.

• Trajetórias agênticas reais — sessões de programação com vários turnos, raciocínio intercalado, chamadas de ferramentas e extensões de contexto variáveis (não prompts sintéticos uniformes).
• Carga simultânea sustentada — agentes simulados mantêm solicitações continuamente em processamento, levando ao limite o reaproveitamento do cache KV, a decodificação especulativa e o comportamento do escalonador.
• Níveis de SLO derivados do mercado — limites de desempenho baseados nos dados de benchmarking de APIs serverless da Artificial Analysis, refletindo os níveis de qualidade de serviço observados entre os provedores.
• Atualização contínua — os resultados são atualizados continuamente à medida que novos hardwares, stacks de software e versões de modelos ficam disponíveis.
• Pronto para produção — os modelos são testados com otimizações realistas habilitadas e topologias de implantação em escala de produção.

Conjunto de dados

O conjunto de dados do AA-AgentPerf contém trajetórias agênticas reais que abrangem vários casos de uso, linguagens de programação e modelos. As trajetórias foram geradas no ambiente agêntico OpenCode usando três dos principais modelos de pesos abertos com raciocínio habilitado — DeepSeek V3.2, GLM 4.7 e Kimi K2.5 —, instruídos a resolver problemas em repositórios públicos de código reais. Todas as trajetórias incluem raciocínio e chamadas de ferramentas intercalados.

• Extensão da sequência de entrada (ISL): Varia de ~5K a ~131K tokens, com média aproximada de 27K tokens. As trajetórias são truncadas para caber na extensão máxima de contexto recomendada dos modelos em teste.
• Extensão da sequência de saída (OSL): As extensões de saída variam muito entre os turnos — alguns produzem saídas curtas, como chamadas simples de ferramentas, enquanto outros envolvem raciocínio prolongado antes de o modelo responder ou agir.
• Linguagens: Mais de 12 linguagens de programação estão representadas, com base na linguagem principal do repositório de origem. Repositórios Python são a fonte mais frequente, seguidos por TypeScript e Go.
• Atrasos nas chamadas de ferramentas: Após cada chamada de ferramenta, o tempo de processamento é simulado com um atraso fixo por mensagem, amostrado de uma distribuição de durações de chamadas reais e segmentado pela ferramenta acionada. Os atrasos variam de menos de 0,1 s a 5 s, com mediana de aproximadamente 1 segundo.

Um subconjunto representativo para ajustes — 500 trajetórias únicas, totalizando 18.997 prompts — é fornecido aos participantes do teste para validar a configuração e otimizar o desempenho. O conjunto de dados de teste completo é mantido em sigilo para evitar otimizações direcionadas ao benchmark.

Objetivos de nível de serviço

Os SLOs de desempenho são definidos com base nos dados de benchmarking de APIs serverless da Artificial Analysis. Para cada modelo em teste, identificamos os níveis de serviço atualmente disponíveis no mercado. Os fornecedores buscam atingir cada nível separadamente, maximizando o número de agentes simultâneos que conseguem comportar naquele nível de serviço.

Tanto a velocidade quanto a latência são calculadas por solicitação. Devido ao grande número de solicitações com OSL pequena nas cargas de trabalho agênticas, usamos a velocidade de saída P25, com percentis calculados sobre todas as solicitações enviadas durante uma fase.

Cada modelo é testado com os parâmetros de amostragem recomendados pelo criador e o maior nível de esforço de raciocínio disponível: esforço de raciocínio max para DeepSeek V4 Pro e Kimi K3, e esforço de raciocínio high para gpt-oss-120b, com todos os outros parâmetros definidos com os valores padrão.

Estamos migrando das métricas separadas de velocidade de saída e TTFT para uma métrica combinada de velocidade E2E. Durante essa transição, algumas estatísticas serão expressas em velocidade/TTFT e outras em velocidade E2E.

Execução do teste

O número de agentes suportados em cada SLO é determinado por meio de busca binária após um crescimento exponencial inicial. As métricas são calculadas com informações de tempo dos tokens em estado estável. Depois que uma fase é concluída e as métricas são calculadas, o sistema determina se houve violação dos SLOs e então avança para o próximo nível de simultaneidade pretendido. Cada fase é executada até que pelo menos 30 trajetórias tenham sido concluídas, cada agente simulado tenha concluído pelo menos 3 trajetórias e tenham transcorrido pelo menos 10 minutos de medição em estado estável. As trajetórias são atribuídas aos agentes de forma determinística entre as fases, com prefixos gerados dinamicamente e adicionados ao início de cada trajetória em cada fase para impedir o armazenamento de prefixos em cache entre fases. Um valor de max_tokens de 16K evita que solicitações individuais em que um modelo entra em um loop de repetição distorçam os resultados.

Métricas e resultados

As seguintes métricas de tempo são calculadas durante cada fase do teste:

• Tempo até o primeiro token (TTFT): Latência por solicitação, desde o envio da solicitação até o recebimento do primeiro token de saída.
• Velocidade de saída: Número de tokens de saída por segundo por solicitação, medido após o recebimento do primeiro token.
• Velocidade E2E: Número de tokens de saída por segundo por solicitação ao longo de toda a solicitação, incluindo a espera pelo primeiro token. Essa métrica única está substituindo as duas anteriores.
• Vazão de saída do sistema: Total de tokens de saída por segundo entre todos os agentes simultâneos.

Todas as métricas são filtradas para períodos de estado estável em que todos os agentes estejam ativos por pelo menos 30 segundos no nível de simultaneidade pretendido. As métricas de velocidade usam as contagens de tokens do servidor presentes nos metadados de uso retornados pelo framework de inferência, verificadas em relação à tokenização local com o tokenizador nativo do modelo candidato. O consumo de energia é medido em cada acelerador durante o teste em execução. Os principais resultados — número máximo de agentes simultâneos e vazão de saída em cada nível de SLO — são normalizados por acelerador e por MW para permitir uma comparação justa entre configurações de hardware. Os valores por MW se baseiam na potência medida do acelerador sob carga (die da GPU + HBM), e não no TDP nominal.

Os resultados são publicados no ranking da Artificial Analysis com as configurações completas do sistema, conforme informadas pelo provedor. Os provedores podem analisar seus resultados antes da publicação para verificar a exatidão das informações.

Envios

Se você é um fornecedor de hardware interessado em enviar seu sistema para uma avaliação do AA-AgentPerf e ainda não está em contato conosco, escreva para agentperf@artificialanalysis.ai.