Nimble Search

Nimble Search: pontuação no Search Index, desempenho e preço

Name: Artificial Analysis Search Index
Creator: Artificial Analysis
License: https://artificialanalysis.ai/docs/legal/Terms-of-Use.pdf

Compare Search APIs

Search Index

Artificial Analysis Search Index para Nimble Search (standard)

Tempo

24.0s

Tempo médio de modelo e de busca por tarefa para Nimble Search (standard)

Custo

$0.063

Custo médio de modelo e de Search API por tarefa (USD) para Nimble Search (standard)

Em comparação com outras Search APIs, o Nimble Search está na média no Search Index e tem preço um pouco alto. Também é mais rápido que a média. Sua melhor variante é Nimble Search (standard), entre 2 variantes testadas.

Nimble Search (standard) alcança 74 pontos no Artificial Analysis Search Index, ficando na mediana entre os provedores de Search API (mediana: 74).

Com 24.0s por tarefa, o Nimble Search (standard) é mais rápido que a média (mediana: 31.7s).

Em média, executar o Nimble Search (standard) no Search Index custa $0.063 por tarefa, incluindo o modelo candidato (preço um pouco alto, mediana: $0.061).

Melhor variante	Nimble Search (standard)
Modelo candidato	GPT-5.6 Luna (medium)
Variantes testadas	2

Resultados

Qualidade das respostas com busca em benchmarks públicos.

Artificial Analysis Search Index

Média com pesos iguais do F1 do DeepSearchQA, da precisão no BrowseComp e da precisão no AA-Omniscience · Higher is better

Somente modelo (33)

Ferramenta de busca e ambiente integrados do próprio provedor

The equal-weighted mean of each Search API provider's score on DeepSearchQA (average F1), BrowseComp (exact-answer accuracy), and AA-Omniscience (accuracy), shown on a 0-100 scale. Every result runs the same candidate answer model, harness, and settings. The only variable is the Search API provider.

The dashed line represents the candidate answer model, GPT-5.6 Luna (medium), run with no search tools and is considered the baseline. Dotted bars show the same model with an integrated first-party search tool and harness (OpenAI Web Search). See the Search API methodology for the full harness settings.

Custo

Custo do modelo candidato e da Search API por tarefa do benchmark e por consulta de busca.

Custo por tarefa

Custo médio do modelo candidato e da Search API por tarefa (USD) · Lower is better

Somente modelo ($0.0029)

Ferramenta de busca e ambiente integrados do próprio provedor

Total cost of one benchmark task, split into the candidate answer model's tokens (input, cached, reasoning, and output) and the Search API provider's list price for the searches the model chose to run. The model-only baseline runs no searches, so its cost is token cost alone. Model cost can differ per provider due to differences in returned payloads for a given query, increased numbers of searches performed (due to not getting the right results) as well as increased reasoning token usage when search results are of lower quality.

Artificial Analysis Search Index x custo por tarefa

Artificial Analysis Search Index x custo total de modelo e busca por tarefa do benchmark (USD)

Most attractive quadrant

Pareto line

Latência

Tempo de modelo e tempo de busca por tarefa do benchmark e por consulta de busca.

Tempo por tarefa

Tempo médio de modelo derivado e tempo de busca medido por tarefa · O tempo de modelo é o número de tokens de saída dividido pela velocidade de saída de ponta a ponta, no endpoint do próprio modelo candidato ou na mediana dos provedores · Lower is better

Somente modelo (25.7s)

Ferramenta de busca e ambiente integrados do próprio provedor

The sum of model time and search time for one benchmark task. Model time is derived: answer and reasoning tokens per task divided by the model's end-to-end output speed, at its own endpoint or the median across providers. Search time is the measured time spent in web_search calls. A provider can be fast per call and still add more total time if the model searches against it more often.

For OpenAI Web Search, search time is an upper limit. It includes OpenAI processing time.

Artificial Analysis Search Index x tempo por tarefa

Artificial Analysis Search Index x tempo médio de modelo e busca por tarefa do benchmark (segundos) · O tempo de modelo é o número de tokens de saída dividido pela velocidade de saída de ponta a ponta, no endpoint do próprio modelo candidato ou na mediana dos provedores

Most attractive quadrant

Pareto line

For OpenAI Web Search, search time is an upper limit. It includes OpenAI processing time.

Tokens

Tokens de entrada e saída do modelo candidato por tarefa do benchmark e qualidade em relação ao uso total de tokens.

Total de tokens por tarefa

Média de tokens de entrada, raciocínio e resposta do modelo candidato por tarefa do benchmark · Lower is better

Somente modelo (3k)

Ferramenta de busca e ambiente integrados do próprio provedor

Average total input, reasoning and answer tokens per task. Grader tokens are excluded.

Artificial Analysis Search Index x total de tokens por tarefa

Artificial Analysis Search Index x total de tokens do modelo candidato por tarefa do benchmark

Most attractive quadrant

Pareto line

Average total input, reasoning and answer tokens per task. Grader tokens are excluded.

Buscas

Consultas de busca que o modelo candidato faz por tarefa do benchmark.

Consultas de busca por tarefa

Número médio de consultas de busca que o modelo candidato faz por tarefa do benchmark

The average number of web_search calls the candidate answer model makes for one benchmark task, averaged across the three benchmarks. The model decides when to search, so the count reflects how it works with each provider's results. A higher count is not necessarily worse, a provider may return results intentionally designed to encourage more, frequent searches. The model-only baseline runs no searches.

Detalhes do benchmark

Search Index, pontuações de benchmarks, custo e tempo por tarefa de Nimble Search, com a linha de base somente modelo

Provedor
Nimble Search (standard)	74	41	76	75	71	$46.14	$16.64	24.0s
Nimble Search (lite)	66	33	61	69	67	$20.71	$9.58	45.3s
Somente modelo	33	linha de base	45	17	38	—	$2.92	25.7s

Search $/1k and Model $/1k are the average cost of 1,000 benchmark tasks broken down into search and model token costs. The model-only baseline runs no searches.

For OpenAI Web Search, search time is an upper limit. It includes OpenAI processing time.

Nimble Search: pontuação no Search Index, desempenho e preço

Resumo do provedor

Search Index

Tempo

Custo

Resumo da comparação

Especificações técnicas

Resultados

Artificial Analysis Search Index

Artificial Analysis Search Index

Model-Only Baseline and First-Party Search

Custo

Custo por tarefa

Cost per Task

Model-Only Baseline and First-Party Search

Artificial Analysis Search Index x custo por tarefa

Cost per Task

Latência

Tempo por tarefa

Time per Task

Model-Only Baseline and First-Party Search

Artificial Analysis Search Index x tempo por tarefa

Time per Task

Tokens

Total de tokens por tarefa

Total Tokens per Task

Model-Only Baseline and First-Party Search

Artificial Analysis Search Index x total de tokens por tarefa

Total Tokens per Task

Buscas

Consultas de busca por tarefa

Search Queries per Task

Detalhes do benchmark

Cost per 1,000 Tasks

Time per Task