Nimble Search

Nimble Search: Ergebnis im Search Index, Leistung und Preis

Name: Artificial Analysis Search Index
Creator: Artificial Analysis
License: https://artificialanalysis.ai/docs/legal/Terms-of-Use.pdf

Search APIs vergleichen

Search Index

Artificial Analysis Search Index für Nimble Search (standard)

Zeit

24.0s

Durchschnittliche Modell- und Suchzeit pro Aufgabe für Nimble Search (standard)

Kosten

$0.063

Durchschnittliche Modell- und Search-API-Kosten pro Aufgabe (USD) für Nimble Search (standard)

Im Vergleich zu anderen Search APIs liegt Nimble Search im Search Index im Durchschnitt und ist etwas teuer. Die API ist außerdem schneller als der Durchschnitt. Die beste Variante ist Nimble Search (standard), von 2 getesteten Varianten.

Nimble Search (standard) erzielt im Artificial Analysis Search Index einen Wert von 74 und liegt damit im Median der Search-API-Anbieter (Median: 74).

Mit 24.0s pro Aufgabe ist Nimble Search (standard) schneller als der Durchschnitt (Median: 31.7s).

Im Durchschnitt kostet eine Aufgabe mit Nimble Search (standard) im Search Index $0.063, einschließlich des Kandidatenmodells (etwas teuer; Median: $0.061).

Beste Variante	Nimble Search (standard)
Kandidatenmodell	GPT-5.6 Luna (medium)
Getestete Varianten	2

Ergebnisse

Antwortqualität mit Suche über öffentliche Benchmarks hinweg.

Artificial Analysis Search Index

Gleichgewichteter Mittelwert aus DeepSearchQA F1, BrowseComp-Genauigkeit und Genauigkeit von AA-Omniscience · Higher is better

Nur Modell (33)

Integriertes Erstanbieter-Suchtool und -Harness

The equal-weighted mean of each Search API provider's score on DeepSearchQA (average F1), BrowseComp (exact-answer accuracy), and AA-Omniscience (accuracy), shown on a 0-100 scale. Every result runs the same candidate answer model, harness, and settings. The only variable is the Search API provider.

The dashed line represents the candidate answer model, GPT-5.6 Luna (medium), run with no search tools and is considered the baseline. Dotted bars show the same model with an integrated first-party search tool and harness (OpenAI Web Search). See the Search API methodology for the full harness settings.

Kosten

Kosten des Kandidatenmodells und der Search API pro Benchmark-Aufgabe und pro Suchanfrage.

Kosten pro Aufgabe

Durchschnittliche Kosten des Kandidatenmodells und der Search API pro Aufgabe (USD) · Lower is better

Nur Modell ($0.0029)

Integriertes Erstanbieter-Suchtool und -Harness

Total cost of one benchmark task, split into the candidate answer model's tokens (input, cached, reasoning, and output) and the Search API provider's list price for the searches the model chose to run. The model-only baseline runs no searches, so its cost is token cost alone. Model cost can differ per provider due to differences in returned payloads for a given query, increased numbers of searches performed (due to not getting the right results) as well as increased reasoning token usage when search results are of lower quality.

Artificial Analysis Search Index vs. Kosten pro Aufgabe

Artificial Analysis Search Index vs. Gesamtkosten für Modell und Suche pro Benchmark-Aufgabe (USD)

Most attractive quadrant

Pareto line

Latenz

Modellzeit und Suchzeit pro Benchmark-Aufgabe und pro Suchanfrage.

Zeit pro Aufgabe

Durchschnittliche abgeleitete Modellzeit und gemessene Suchzeit pro Aufgabe · Die Modellzeit ist die Zahl der Ausgabetokens geteilt durch die Ende-zu-Ende-Ausgabegeschwindigkeit, am eigenen Endpunkt des Kandidatenmodells oder als Median aller Anbieter · Lower is better

Nur Modell (25.7s)

Integriertes Erstanbieter-Suchtool und -Harness

The sum of model time and search time for one benchmark task. Model time is derived: answer and reasoning tokens per task divided by the model's end-to-end output speed, at its own endpoint or the median across providers. Search time is the measured time spent in web_search calls. A provider can be fast per call and still add more total time if the model searches against it more often.

For OpenAI Web Search, search time is an upper limit. It includes OpenAI processing time.

Artificial Analysis Search Index vs. Zeit pro Aufgabe

Artificial Analysis Search Index vs. durchschnittliche Modell- und Suchzeit pro Benchmark-Aufgabe (Sekunden) · Die Modellzeit ist die Zahl der Ausgabetokens geteilt durch die Ende-zu-Ende-Ausgabegeschwindigkeit, am eigenen Endpunkt des Kandidatenmodells oder als Median aller Anbieter

Most attractive quadrant

Pareto line

For OpenAI Web Search, search time is an upper limit. It includes OpenAI processing time.

Token

Input- und Output-Token des Kandidatenmodells pro Benchmark-Aufgabe sowie Qualität im Verhältnis zur gesamten Token-Nutzung.

Gesamt-Token pro Aufgabe

Durchschnittliche Input-, Reasoning- und Antwort-Token des Kandidatenmodells pro Benchmark-Aufgabe · Lower is better

Nur Modell (3k)

Integriertes Erstanbieter-Suchtool und -Harness

Average total input, reasoning and answer tokens per task. Grader tokens are excluded.

Artificial Analysis Search Index vs. Gesamt-Token pro Aufgabe

Artificial Analysis Search Index vs. Gesamt-Token des Kandidatenmodells pro Benchmark-Aufgabe

Most attractive quadrant

Pareto line

Average total input, reasoning and answer tokens per task. Grader tokens are excluded.

Suchanfragen

Suchanfragen des Kandidatenmodells pro Benchmark-Aufgabe.

Suchanfragen pro Aufgabe

Durchschnittliche Zahl der Suchanfragen des Kandidatenmodells pro Benchmark-Aufgabe

The average number of web_search calls the candidate answer model makes for one benchmark task, averaged across the three benchmarks. The model decides when to search, so the count reflects how it works with each provider's results. A higher count is not necessarily worse, a provider may return results intentionally designed to encourage more, frequent searches. The model-only baseline runs no searches.

Benchmark-Details

Search Index, Benchmark-Ergebnisse, Kosten und Zeit pro Aufgabe für Nimble Search, mit der Nur-Modell-Baseline

Anbieter
Nimble Search (standard)	74	41	76	75	71	$46.14	$16.64	24.0s
Nimble Search (lite)	66	33	61	69	67	$20.71	$9.58	45.3s
Nur Modell	33	Baseline	45	17	38	—	$2.92	25.7s

Search $/1k and Model $/1k are the average cost of 1,000 benchmark tasks broken down into search and model token costs. The model-only baseline runs no searches.

For OpenAI Web Search, search time is an upper limit. It includes OpenAI processing time.

Nimble Search: Ergebnis im Search Index, Leistung und Preis

Anbieterübersicht

Search Index

Zeit

Kosten

Zusammenfassung des Vergleichs

Technische Spezifikationen

Ergebnisse

Artificial Analysis Search Index

Artificial Analysis Search Index

Model-Only Baseline and First-Party Search

Kosten

Kosten pro Aufgabe

Cost per Task

Model-Only Baseline and First-Party Search

Artificial Analysis Search Index vs. Kosten pro Aufgabe

Cost per Task

Latenz

Zeit pro Aufgabe

Time per Task

Model-Only Baseline and First-Party Search

Artificial Analysis Search Index vs. Zeit pro Aufgabe

Time per Task

Token

Gesamt-Token pro Aufgabe

Total Tokens per Task

Model-Only Baseline and First-Party Search

Artificial Analysis Search Index vs. Gesamt-Token pro Aufgabe

Total Tokens per Task

Suchanfragen

Suchanfragen pro Aufgabe

Search Queries per Task

Benchmark-Details

Cost per 1,000 Tasks

Time per Task