Forward Deployed Engineer – Mediengenerierung

Über Artificial Analysis

Artificial Analysis ist das führende unabhängige Unternehmen für KI-Benchmarking. Wir helfen Laboren, Ingenieuren und Unternehmen, KI-Fähigkeiten zu verstehen und wichtige Entscheidungen über ihre KI-Strategie zu treffen. Von KI-Laboren und Unternehmen bis hin zu Medien, Investoren und politischen Entscheidungsträgern sind wir die erste Anlaufstelle, um KI zu verstehen. Unsere Benchmarks messen nicht nur den neuesten Stand der KI, sondern gestalten die Frontier aktiv mit.

Hunderttausende Nutzer vertrauen unseren Benchmarks und Analysen. Sie sind die maßgebliche Referenz für führende KI-Labore wie OpenAI, Google, Meta, NVIDIA und Anthropic sowie für große Publikationen wie das Wall Street Journal, Bloomberg, die Financial Times und The Economist.

Wir sind ein Team von mehr als 40 Personen und auf Kurs, bis zum Jahresende auf das Dreifache zu wachsen. Unterstützt werden wir von Nat Friedman (Github, Meta), Daniel Gross (SSI), Andrew Ng (Google Brain, DeepLearning.ai, Amazon), Adam D'Angelo (Quora, Poe, OpenAI), Clem Delangue (Hugging Face) und weiteren Branchenführern.

Die Chance

Artificial Analysis benchmarkt die führenden Modelle zur Bild- und Videogenerierung und bietet der KI-Branche unabhängige Qualitäts- und Leistungsvergleiche auf Grundlage strukturierter Evaluationen menschlicher Präferenzen.

Wir suchen einen Forward Deployed Engineer, der unsere Benchmarking-Pipeline für Mediengenerierung durchgängig verantwortet und Artificial Analysis gegenüber Anbietern von Mediengenerierungsmodellen technisch repräsentiert. Du führst Bild- und Videoevaluationen aus, verwaltest Studien zu menschlichen Präferenzen und bist die Kontaktperson, auf die sich Anbieter bei Ergebnissen, Methodik und Fragen verlassen.

Diese prozessorientierte, produktionsnahe Position eignet sich für jemanden mit großer Detailgenauigkeit und sicheren Python-Kenntnissen, der stolz darauf ist, Pipelines Tag für Tag zuverlässig zu betreiben und gleichzeitig unsere Plattform gegenüber einigen der kreativsten KI-Unternehmen der Welt zu vertreten.

Deine Aufgaben

• Bild- und Videoausgaben verschiedener Modelle nach standardisierten Evaluationsprotokollen generieren
• Studien zur Evaluation menschlicher Präferenzen einrichten und verwalten, einschließlich Studiendesign, Teilnehmermanagement und Qualitätskontrolle
• Daten aus Präferenzabstimmungen verarbeiten und analysieren, um Benchmark-Ergebnisse zu erstellen
• Die gesamte Pipeline vom Ausführen der Prompts bis zu den veröffentlichten Ergebnissen verwalten
• Technische Kontaktperson für Anbieter von Mediengenerierungsmodellen sein: Ergebnisse vermitteln, die Methodik erklären und Fragen bearbeiten
• Datenqualität überwachen, Anomalien kennzeichnen und die Konsistenz verschiedener Evaluationsrunden sicherstellen
• Prozesse und Konfigurationen dokumentieren
• Neue Veröffentlichungen von Bild- und Videomodellen laufend verfolgen

Was wir suchen

Voraussetzungen:

• Mehr als 3 Jahre Erfahrung in einer kundenorientierten technischen Position – Solutions Engineering, Support Engineering, technische Beratung oder vergleichbar (bei Unternehmen wie Stripe, Vercel, Cloudflare, Datadog, Palantir, Accenture oder ähnlichen)
• Sehr gute Python-Kenntnisse und sicherer Umgang mit komplexen Codebasen, die du nicht selbst geschrieben hast
• Praktische Erfahrung mit KI-Modell-APIs, idealerweise APIs zur Bild- oder Videogenerierung (OpenAI, Google, Black Forest Labs oder vergleichbar)
• Hervorragende Debugging-Fähigkeiten; du kannst Probleme über APIs, Datenpipelines und Code hinweg nachverfolgen
• Sehr gute schriftliche und mündliche Englischkenntnisse und die Fähigkeit, technischen Stakeholdern technische Konzepte verständlich zu erklären
• Hohe Reaktionsgeschwindigkeit und Zuverlässigkeit; du übernimmst Verantwortung für Kundenprobleme und verfolgst sie bis zur Lösung
• Freude an operativer, wiederholbarer Arbeit und daran, Abläufe außergewöhnlich gut durchzuführen
• Große Detailgenauigkeit und Ruhe unter Druck

Wünschenswert, aber nicht erforderlich:

• Erfahrung mit der Verwaltung von Forschungsstudien, Datenerfassungspipelines oder Crowdsourcing-Plattformen
• Erfahrung mit Bild- oder Videogenerierungsmodellen (z. B. Sora, Veo, Kling, Midjourney, FLUX, Runway oder vergleichbar)
• Erfahrung in Datenanalyse oder Forschungsbetrieb
• Vertrautheit mit Methoden menschlicher Evaluation oder präferenzbasierten Rangsystemen
• Erfahrung mit B2B-SaaS oder Entwicklerwerkzeugen

Warum Artificial Analysis?

• Gestalte, wie KI entwickelt wird: Führende KI-Labore verfolgen unsere Benchmarks und richten ihre Entwicklungsprioritäten daran aus. Deine Arbeit beeinflusst die Entwicklung von KI unmittelbar.
• Werde zu einem weltweit führenden KI-Experten: Du evaluierst jedes wichtige Modell über alle wesentlichen Fähigkeiten hinweg, sobald es veröffentlicht wird. Nur wenige Positionen bieten einen so breiten Einblick in Frontier-KI.
• Arbeite mit den wichtigsten Akteuren der KI-Branche: Als vertrauenswürdige, unabhängige Stimme betreust du Beziehungen zu Teams führender KI-Labore und großer Unternehmen.
• Steige in einem entscheidenden Moment ein: Wir sind mehr als 40 Personen und auf Kurs, uns bis zum Jahresende zu verdoppeln. Unterstützt werden wir von einigen der bestvernetzten Investoren der KI-Branche. Wer jetzt zu uns kommt, gestaltet beim Skalieren das Produkt, das Team und die Strategie mit.
• Wettbewerbsfähige Vergütung einschließlich Unternehmensanteilen