Product Manager (KI-Hardware)

Über Artificial Analysis

Artificial Analysis ist das führende unabhängige Unternehmen für KI-Benchmarking. Wir helfen Laboren, Ingenieuren und Unternehmen, KI-Fähigkeiten zu verstehen und wichtige Entscheidungen über ihre KI-Strategie zu treffen. Von KI-Laboren und Unternehmen bis hin zu Medien, Investoren und politischen Entscheidungsträgern sind wir die erste Anlaufstelle, um KI zu verstehen. Unsere Benchmarks messen nicht nur den neuesten Stand der KI, sondern gestalten die Frontier aktiv mit.

Hunderttausende Nutzer vertrauen unseren Benchmarks und Analysen. Sie sind die maßgebliche Referenz für führende KI-Labore wie OpenAI, Google, Meta, NVIDIA und Anthropic sowie für große Publikationen wie das Wall Street Journal, Bloomberg, die Financial Times und The Economist.

Wir sind ein Team von mehr als 40 Personen und auf Kurs, bis zum Jahresende auf das Dreifache zu wachsen. Unterstützt werden wir von Nat Friedman (Github, Meta), Daniel Gross (SSI), Andrew Ng (Google Brain, DeepLearning.ai, Amazon), Adam D'Angelo (Quora, Poe, OpenAI), Clem Delangue (Hugging Face) und weiteren Branchenführern.

Die Chance

Bei KI-Hardware entscheidet sich die Wirtschaftlichkeit der KI im kommenden Jahrzehnt. Unsere Hardware-Benchmarks werden zum Referenzpunkt dafür, wie die Branche Beschleuniger misst. Wir verstärken unseren Hardwarebereich, um diese Abdeckung voranzutreiben: Wir benchmarken die GPUs, TPUs und kundenspezifischen Chips, auf denen die KI-Branche läuft, und entwickeln Analysen, mit denen die Branche sie besser versteht.

Du konzipierst und betreibst Performance-Benchmarks für verschiedene Beschleuniger und Inferenzkonfigurationen, erweiterst unseren Hardware-Benchmarking-Stack einschließlich AA-AgentPerf und unserer Performance-Benchmarking-Suite, entwickelst Kosten- und Durchsatzmodelle und arbeitest direkt mit führenden Chipherstellern zusammen, um deren neueste Chips zu benchmarken. Dies ist eine technische, praktische Position an der Schnittstelle von Chiptechnologie und KI, in direkter Zusammenarbeit mit unseren Gründern und der Leitung unseres Hardwarebereichs.

Deine Aufgaben

• KI-Beschleuniger benchmarken: Performance-Benchmarking für GPUs, TPUs und kundenspezifische Inferenzchips konzipieren und durchführen und dabei Durchsatz, Latenz und Preis-Leistungs-Verhältnis so messen, wie die Branche die Systeme tatsächlich einsetzt
• Evaluationsmethodik entwickeln: Frameworks entwickeln und pflegen, die festlegen, wie Leistung und Effizienz von KI-Hardware gemessen werden, und Produkte wie AA-AgentPerf erweitern – von Tokens pro Sekunde und Zeit bis zum ersten Token bis zu den Gesamtbetriebskosten
• Inferenzökonomie analysieren: Das Zusammenspiel von Kosten pro Token, Auslastung und Hardwareauswahl tiefgehend verstehen und daraus Analysen für Bereitstellungs- und Beschaffungsentscheidungen der Branche ableiten
• Mit Chipherstellern zusammenarbeiten: Auf tiefem technischem Niveau mit den weltweit führenden Hardwareunternehmen von NVIDIA, AMD und Google bis zu neuen Beschleunigerherstellern arbeiten, ihre neuesten Chips benchmarken, gemeinsam die Methodik gestalten und die Messstandards der Branche setzen
• Strategische Analysen vorantreiben: Berichte und Datenvisualisierungen erstellen, die technischen und nicht technischen Zielgruppen Leistung und Wirtschaftlichkeit von Hardware vermitteln
• KI-nativ arbeiten: Einen KI-nativen Workflow nutzen und mit modernsten KI-Werkzeugen in einer sich schnell verändernden Branche mehr bewirken, damit wir unseren Wettbewerbsvorsprung im KI-Benchmarking wahren

Was wir suchen

Du solltest aus der Welt der KI-Beschleuniger kommen.

Mögliche Hintergründe: Engineering-, Produkt-, Performance- oder technische Positionen bei Unternehmen für KI-Beschleuniger und Inferenzhardware (z. B. Cerebras, Groq, SambaNova, d-Matrix, Etched, MatX, Tenstorrent oder vergleichbar), GPU- und Beschleunigerteams größerer Anbieter (NVIDIA, AMD, Google, Amazon, Qualcomm) oder Unternehmen für Inferenzinfrastruktur mit enger Nähe zur Hardware.

Voraussetzungen:

• Mehr als 3 Jahre Berufserfahrung, davon mindestens 2 Jahre bei einem Unternehmen für KI-Chips (z. B. NVIDIA, Cerebras, SambaNova, Groq oder vergleichbar)
• Ausgeprägte analytische Fähigkeiten und kritisches Denkvermögen
• Sicherer Umgang mit Python und Datenanalyse
• Umfassende Vertrautheit mit KI-Beschleunigern und dem Inferenzsoftware-Stack (z. B. CUDA, TensorRT, vLLM oder vergleichbare Serving-Frameworks)
• Verständnis der Inferenzökonomie: Kosten pro Token, Auslastung und die Zielkonflikte, die reale Bereitstellungsentscheidungen bestimmen
• Echtes, nachweisbares Interesse an und Wissen über Frontier-KI. Wir suchen Menschen mit fundierten Ansichten darüber, wohin sich KI entwickelt, und nicht nur Menschen, die KI-Werkzeuge verwenden

Warum Artificial Analysis?

• Gestalte, wie KI entwickelt wird: Führende KI-Labore verfolgen unsere Benchmarks und richten ihre Entwicklungsprioritäten daran aus. Deine Arbeit beeinflusst die Entwicklung von KI unmittelbar.
• Werde zu einem weltweit führenden KI-Experten: Du evaluierst jedes wichtige Modell über alle wesentlichen Fähigkeiten hinweg, sobald es veröffentlicht wird. Nur wenige Positionen bieten einen so breiten Einblick in Frontier-KI.
• Arbeite mit den wichtigsten Akteuren der KI-Branche: Als vertrauenswürdige, unabhängige Stimme betreust du Beziehungen zu Teams führender KI-Labore und großer Unternehmen.
• Steige in einem entscheidenden Moment ein: Wir sind mehr als 40 Personen und auf Kurs, uns bis zum Jahresende zu verdoppeln. Unterstützt werden wir von einigen der bestvernetzten Investoren der KI-Branche. Wer jetzt zu uns kommt, gestaltet beim Skalieren das Produkt, das Team und die Strategie mit.
• Wettbewerbsfähige Vergütung einschließlich Unternehmensanteilen