Member of Technical Staff (Angewandte KI-Forschung)

Über Artificial Analysis

Artificial Analysis ist das führende unabhängige Unternehmen für KI-Benchmarking. Wir helfen Laboren, Ingenieuren und Unternehmen, KI-Fähigkeiten zu verstehen und wichtige Entscheidungen über ihre KI-Strategie zu treffen. Von KI-Laboren und Unternehmen bis hin zu Medien, Investoren und politischen Entscheidungsträgern sind wir die erste Anlaufstelle, um KI zu verstehen. Unsere Benchmarks messen nicht nur den neuesten Stand der KI, sondern gestalten die Frontier aktiv mit.

Hunderttausende Nutzer vertrauen unseren Benchmarks und Analysen. Sie sind die maßgebliche Referenz für führende KI-Labore wie OpenAI, Google, Meta, NVIDIA und Anthropic sowie für große Publikationen wie das Wall Street Journal, Bloomberg, die Financial Times und The Economist.

Wir sind ein Team von mehr als 40 Personen und auf Kurs, bis zum Jahresende auf das Dreifache zu wachsen. Unterstützt werden wir von Nat Friedman (Github, Meta), Daniel Gross (SSI), Andrew Ng (Google Brain, DeepLearning.ai, Amazon), Adam D'Angelo (Quora, Poe, OpenAI), Clem Delangue (Hugging Face) und weiteren Branchenführern.

Die Chance

Unsere Evaluationen bestimmen, wie die Welt KI misst. Wenn ein Frontier-Labor ein Modell veröffentlicht, zeigen unsere Benchmarks der Branche, was es tatsächlich kann. Die Labore selbst nutzen unsere Ergebnisse, um ihre weitere Entwicklung auszurichten. In dieser Position arbeitest du an der Frontier der Messung: Du beobachtest nicht nur den neuesten Stand, sondern definierst mit deiner Arbeit, was als neuester Stand gilt.

Wir suchen Members of Technical Staff (Angewandte KI-Forschung), die Evaluationen entwickeln, welche den Standard für die Messung von KI setzen: neuartige Benchmarks und Datensätze erstellen, jedes wichtige Modell bei seiner Veröffentlichung evaluieren, mit Frontier-Laboren an unveröffentlichten Modellen arbeiten, bevor die Welt sie sieht, und Analysen publizieren, auf die sich Labore, Unternehmen, Medien und politische Entscheidungsträger stützen. Erfolg bedeutet, zu einem weltweit führenden Experten für moderne KI zu werden.

Dies ist angewandte Forschung mit unmittelbaren Auswirkungen auf die Branche: kürzere Zyklen als in der Wissenschaft, mehr methodische Strenge als in Branchenkommentaren und ein größeres Publikum als bei beiden. Im Mittelpunkt steht das Entwickeln: Den weitaus größten Teil deiner Zeit verbringst du mit der Konzeption und Veröffentlichung von Evaluationen; Analyse und Zusammenarbeit mit der Branche bauen auf dieser Arbeit auf.

Deine Aufgaben

• Frontier-Evaluationen entwickeln: Neuartige Evaluationsmethodiken konzipieren, entwickeln und veröffentlichen, welche die Messung von KI-Fähigkeiten voranbringen und den Möglichkeiten von Frontier-Modellen voraus bleiben
• Evaluationsdatensätze und Infrastruktur entwickeln: Datensätze, Harnesses und Bewertungssysteme hinter unseren Benchmarks erstellen, ausgelegt auf Kontaminationsresistenz und Wiederholbarkeit im Frontier-Maßstab
• Jedes wichtige Modell evaluieren: Unsere Evaluationssuite auf neue Frontier-Veröffentlichungen anwenden und die Verantwortung für die Integrität der von der Branche zitierten Ergebnisse übernehmen
• Einflussreiche Analysen publizieren: Berichte, Indizes und Datenvisualisierungen erstellen, die prägen, wie Labore, Unternehmen und die gesamte Branche den Fortschritt der KI verstehen
• Mit Frontier-Laboren an unveröffentlichten Modellen arbeiten: Systeme führender Labore einschließlich noch unveröffentlichter und neu eingeführter Modelle benchmarken und direkt mit deren Forschungsteams zusammenarbeiten; unser kommerzielles Team betreut die Kundenbeziehungen im Alltag, damit deine Zeit der Wissenschaft gehört
• KI-nativ arbeiten: Einen KI-nativen Workflow nutzen und mit modernsten KI-Werkzeugen in einer sich schnell verändernden Branche mehr bewirken, damit wir unseren Wettbewerbsvorsprung im KI-Benchmarking wahren

Was wir suchen

Wir setzen mehr als 3 Jahre einschlägige Berufs- oder Forschungserfahrung voraus. Du interessierst dich leidenschaftlich für KI, möchtest zu einem weltweit führenden Experten auf diesem Gebiet werden und bringst die nötigen starken Analyse- und Programmierkenntnisse mit.

Darüber hinaus stellen wir Menschen aus drei Bereichen ein. Du solltest eindeutig zu einem dieser Profile passen:

KI und maschinelles Lernen

Mögliche Hintergründe: ML Engineer, ML Researcher, Research Engineer, AI Engineer, Forward Deployed Engineer, Technical PM oder vergleichbare Positionen in KI-Unternehmen oder KI-Teams.

Du hast praktische Erfahrung mit modernen KI-Systemen und verstehst auf technischer Ebene, wie Modelle funktionieren. Deine Arbeit soll schneller als ein Paper veröffentlicht werden und mehr bewirken als ein Dashboard: Evaluationen, die die gesamte Branche sieht, in Zyklen von wenigen Tagen.

Strategieberatung

Mögliche Hintergründe: Management Consultant, Associate, Engagement Manager, Data Scientist oder vergleichbare Positionen bei McKinsey, BCG, Bain oder ähnlichen Unternehmen. Bewerber mit Erfahrung in einem Data-Analytics-Bereich wie QuantumBlack, AI by McKinsey, BCG X oder einem vergleichbaren Bereich werden besonders berücksichtigt.

Du kannst unklare Probleme strukturieren, analytische Frameworks entwickeln und Ergebnisse an leitende Stakeholder vermitteln. Der entscheidende Unterschied: echtes technisches Interesse an KI und die Fähigkeit zu programmieren. Du verfolgst Modellveröffentlichungen, hast fundierte Ansichten zur Entwicklung der Technologie und möchtest näher am Thema arbeiten, als es die Beratung ermöglicht.

Technisches Produktmanagement

Mögliche Hintergründe: Founding Engineer, Product Manager, Technical Co-founder, Head of Product oder generalistische Positionen in jungen KI-Unternehmen.

Du hast in einem schnelllebigen Umfeld KI-Produkte entwickelt und veröffentlicht und dabei gleichzeitig in Forschung, Engineering, Produkt und kommerziellen Bereichen gearbeitet. Du suchst eine Position, in der diese Breite die eigentliche Aufgabe ist und nicht nur eine Begleiterscheinung der frühen Phase eines kleinen Unternehmens.

Für alle drei Profile setzen wir voraus:

• Ausgeprägte analytische Fähigkeiten und kritisches Denkvermögen
• Sicherer Umgang mit Python und Datenanalyse
• Echtes, nachweisbares Interesse an und Wissen über Frontier-KI. Wir suchen Menschen mit fundierten Ansichten darüber, wohin sich KI entwickelt, und nicht nur Menschen, die KI-Werkzeuge verwenden

Warum Artificial Analysis?

• Gestalte, wie KI entwickelt wird: Führende KI-Labore verfolgen unsere Benchmarks und richten ihre Entwicklungsprioritäten daran aus. Deine Arbeit beeinflusst die Entwicklung von KI unmittelbar.
• Werde zu einem weltweit führenden KI-Experten: Du evaluierst jedes wichtige Modell über alle wesentlichen Fähigkeiten hinweg, sobald es veröffentlicht wird. Nur wenige Positionen bieten einen so breiten Einblick in Frontier-KI.
• Arbeite mit den wichtigsten Akteuren der KI-Branche: Als vertrauenswürdige, unabhängige Stimme betreust du Beziehungen zu Teams führender KI-Labore und großer Unternehmen.
• Steige in einem entscheidenden Moment ein: Wir sind mehr als 40 Personen und auf Kurs, uns bis zum Jahresende zu verdoppeln. Unterstützt werden wir von einigen der bestvernetzten Investoren der KI-Branche. Wer jetzt zu uns kommt, gestaltet beim Skalieren das Produkt, das Team und die Strategie mit.
• Wettbewerbsfähige Vergütung einschließlich Unternehmensanteilen