Member of Technical Staff (Inferenz)

Über Artificial Analysis

Artificial Analysis ist das führende unabhängige Unternehmen für KI-Benchmarking. Wir helfen Laboren, Ingenieuren und Unternehmen, KI-Fähigkeiten zu verstehen und wichtige Entscheidungen über ihre KI-Strategie zu treffen. Von KI-Laboren und Unternehmen bis hin zu Medien, Investoren und politischen Entscheidungsträgern sind wir die erste Anlaufstelle, um KI zu verstehen. Unsere Benchmarks messen nicht nur den neuesten Stand der KI, sondern gestalten die Frontier aktiv mit.

Hunderttausende Nutzer vertrauen unseren Benchmarks und Analysen. Sie sind die maßgebliche Referenz für führende KI-Labore wie OpenAI, Google, Meta, NVIDIA und Anthropic sowie für große Publikationen wie das Wall Street Journal, Bloomberg, die Financial Times und The Economist.

Wir sind ein Team von mehr als 40 Personen und auf Kurs, bis zum Jahresende auf das Dreifache zu wachsen. Unterstützt werden wir von Nat Friedman (Github, Meta), Daniel Gross (SSI), Andrew Ng (Google Brain, DeepLearning.ai, Amazon), Adam D'Angelo (Quora, Poe, OpenAI), Clem Delangue (Hugging Face) und weiteren Branchenführern.

Die Chance

Die Sprachmodellinferenz ist der dynamischste Markt der KI: Dutzende Anbieter, laufende Preis- und Leistungsänderungen und Bereitstellungsentscheidungen in Milliardenhöhe hängen von unabhängigen Daten ab. Unsere Inferenz-Benchmarks sind der Referenzpunkt der Branche, und für ihre Weiterentwicklung suchen wir ein Member of Technical Staff.

Du verantwortest die Abdeckung der serverlosen Inferenzlandschaft: Endpunkte hinsichtlich Qualität, Geschwindigkeit und Preis benchmarken, unsere Methodik um neue Dimensionen wie Cache-Preise, Endpunktgenauigkeit und agentische Leistung erweitern und direkt mit den Inferenzanbietern und Neoclouds arbeiten, die auf Grundlage unserer Zahlen veröffentlichen.

Deine Aufgaben

• Die Inferenzlandschaft benchmarken: Performance- und Preisabdeckung serverloser API-Inferenz im gesamten Anbieterökosystem verantworten, von Frontier-Laboren bis zu Spezialanbietern
• Unsere Methodik erweitern: Neue Benchmarking-Dimensionen wie Cache-Preise, Endpunktgenauigkeit und agentische Leistung vorantreiben, damit unsere Messungen der Bereitstellungspraxis der Branche voraus bleiben
• Mit Anbietern zusammenarbeiten: Direkt mit Inferenzanbietern und Neoclouds arbeiten, ihre Endpunkte benchmarken, Methodikfragen klären und mitgestalten, wie der Markt Serving-Leistung misst
• Den Markt analysieren: Analysen erstellen, mit denen die Branche Inferenzleistung und -ökonomie versteht, von Durchsatz und Zeit bis zum ersten Token bis zu Preis-Leistungs-Paretofronten
• Die Produktausrichtung vorantreiben: Gemeinsam mit unseren Ingenieuren und der Bereichsleitung die Roadmap unserer Inferenz-Benchmarking-Plattform gestalten
• KI-nativ arbeiten: Einen KI-nativen Workflow nutzen und mit modernsten KI-Werkzeugen in einer sich schnell verändernden Branche mehr bewirken, damit wir unseren Wettbewerbsvorsprung im KI-Benchmarking wahren

Was wir suchen

Du solltest den Inferenzmarkt von innen kennen.

Mögliche Hintergründe: Engineering-, Produkt-, Developer-Relations- oder technische GTM-Positionen bei Inferenzanbietern und Neoclouds (z. B. Together AI, Fireworks, Baseten, Cerebras, Novita, Parasail, DeepInfra, Modal, CoreWeave, Lambda, Nebius, Crusoe oder vergleichbar) oder Teams, die Modelle in großem Maßstab produktiv bereitstellen.

Voraussetzungen:

• Mehr als 3 Jahre Berufserfahrung, davon mindestens 2 Jahre bei oder in enger Zusammenarbeit mit Inferenzanbietern, Neoclouds oder Teams, die Modelle produktiv bereitstellen
• Ausgeprägte analytische Fähigkeiten und kritisches Denkvermögen
• Sicherer Umgang mit Python und Datenanalyse
• Praktische Vertrautheit mit dem Model-Serving-Stack (z. B. vLLM, SGLang, TensorRT-LLM) und den Inferenz-APIs verschiedener Anbieter
• Sicherer Umgang mit Metriken und wirtschaftlichen Kennzahlen der Inferenz: Tokens pro Sekunde, Zeit bis zum ersten Token, Zielkonflikte zwischen Durchsatz und Latenz sowie Kosten pro Token
• Echtes, nachweisbares Interesse an und Wissen über Frontier-KI. Wir suchen Menschen mit fundierten Ansichten darüber, wohin sich KI entwickelt, und nicht nur Menschen, die KI-Werkzeuge verwenden

Warum Artificial Analysis?

• Gestalte, wie KI entwickelt wird: Führende KI-Labore verfolgen unsere Benchmarks und richten ihre Entwicklungsprioritäten daran aus. Deine Arbeit beeinflusst die Entwicklung von KI unmittelbar.
• Werde zu einem weltweit führenden KI-Experten: Du evaluierst jedes wichtige Modell über alle wesentlichen Fähigkeiten hinweg, sobald es veröffentlicht wird. Nur wenige Positionen bieten einen so breiten Einblick in Frontier-KI.
• Arbeite mit den wichtigsten Akteuren der KI-Branche: Als vertrauenswürdige, unabhängige Stimme betreust du Beziehungen zu Teams führender KI-Labore und großer Unternehmen.
• Steige in einem entscheidenden Moment ein: Wir sind mehr als 40 Personen und auf Kurs, uns bis zum Jahresende zu verdoppeln. Unterstützt werden wir von einigen der bestvernetzten Investoren der KI-Branche. Wer jetzt zu uns kommt, gestaltet beim Skalieren das Produkt, das Team und die Strategie mit.
• Wettbewerbsfähige Vergütung einschließlich Unternehmensanteilen