Membro da equipe técnica (Inferência)

Sobre a Artificial Analysis

A Artificial Analysis é a principal empresa independente de benchmarks de IA. Ajudamos laboratórios, engenheiros e empresas a entender as capacidades da IA e tomar decisões fundamentais sobre suas estratégias de IA. Somos a autoridade de referência para compreender a IA, atendendo desde laboratórios e empresas até veículos de imprensa, investidores e formuladores de políticas públicas. Nossos benchmarks não apenas medem a fronteira da IA: eles ajudam ativamente a defini-la.

Nossos benchmarks e análises contam com a confiança de centenas de milhares de usuários e são a principal referência para laboratórios de IA como OpenAI, Google, Meta, NVIDIA e Anthropic, além de grandes publicações como The Wall Street Journal, Bloomberg, Financial Times e The Economist.

Somos uma equipe de mais de 40 pessoas, a caminho de triplicar até o fim do ano, com o apoio de Nat Friedman (Github, Meta), Daniel Gross (SSI), Andrew Ng (Google Brain, DeepLearning.ai, Amazon), Adam D'Angelo (Quora, Poe, OpenAI), Clem Delangue (Hugging Face) e outros líderes do setor.

A oportunidade

A inferência de modelos de linguagem é o mercado mais dinâmico da IA: dezenas de provedores, mudanças constantes em preços e desempenho e bilhões de dólares em decisões de implantação que dependem de dados independentes. Nossos benchmarks de inferência são a referência do setor, e estamos contratando um membro da equipe técnica para liderá-los.

Você será responsável pela cobertura do cenário de inferência serverless: avaliará endpoints em termos de qualidade, velocidade e preço, ampliará nossa metodologia para novas dimensões, como preços com cache, acurácia de endpoints e desempenho agêntico, e trabalhará diretamente com os provedores de inferência e neoclouds que usam nossos números em seus lançamentos.

O que você fará

• Avaliar o cenário de inferência: assumir a cobertura de desempenho e preços da inferência por APIs serverless em todo o ecossistema de provedores, desde laboratórios de fronteira até provedores especializados
• Ampliar nossa metodologia: liderar novas dimensões de benchmark, incluindo preços com cache, acurácia de endpoints e desempenho agêntico, mantendo nossas medições à frente da evolução das implantações no setor
• Trabalhar com provedores: colaborar diretamente com provedores de inferência e neoclouds para avaliar seus endpoints, esclarecer dúvidas de metodologia e definir como o mercado mede o desempenho dos serviços de inferência
• Analisar o mercado: produzir as análises que o setor usa para compreender o desempenho e a economia da inferência, desde vazão e tempo até o primeiro token até fronteiras de preço e desempenho
• Orientar o produto: definir o roadmap da nossa plataforma de benchmarks de inferência em conjunto com nossos engenheiros e o líder do pilar
• Tornar-se nativo em IA: adotar um fluxo de trabalho nativo em IA, usando ferramentas de IA de ponta para ampliar a produtividade em um setor em rápida transformação e manter nossa vantagem competitiva em benchmarks de IA

O que buscamos

Você deve conhecer o mercado de inferência por dentro.

Os perfis incluem: funções de engenharia, produto, relações com desenvolvedores ou GTM técnico em provedores de inferência e neoclouds (por exemplo, Together AI, Fireworks, Baseten, Cerebras, Novita, Parasail, DeepInfra, Modal, CoreWeave, Lambda, Nebius, Crusoe ou semelhantes), ou equipes que disponibilizam modelos em produção em grande escala.

Requisitos:

• Mais de 3 anos de experiência profissional, incluindo pelo menos 2 anos em provedores de inferência, neoclouds ou equipes que disponibilizam modelos em produção, ou trabalhando em estreita colaboração com eles
• Sólidas habilidades analíticas e de pensamento crítico
• Proficiência em Python e análise de dados
• Familiaridade prática com a stack de serviço de modelos (por exemplo, vLLM, SGLang, TensorRT-LLM) e com APIs de inferência de diferentes provedores
• Domínio das métricas e da economia do desempenho de inferência: tokens por segundo, tempo até o primeiro token, contrapartidas entre vazão e latência e custo por token
• Interesse e conhecimento genuínos e comprováveis em IA de fronteira. Queremos pessoas com opiniões bem fundamentadas sobre os rumos da IA, não apenas pessoas que usam ferramentas de IA

Por que a Artificial Analysis?

• Ajude a definir como a IA é construída: os principais laboratórios de IA acompanham nossos benchmarks e os usam para orientar suas prioridades de desenvolvimento. Seu trabalho influenciará diretamente os rumos da IA.
• Torne-se uma autoridade mundial em IA: você avaliará todos os principais modelos, em todas as grandes capacidades, conforme forem lançados. Pouquíssimas funções oferecem uma exposição tão ampla à IA de fronteira.
• Trabalhe com os participantes mais importantes da IA: você gerenciará o relacionamento com equipes dos principais laboratórios de IA e grandes empresas, atuando como uma voz independente e confiável.
• Junte-se a nós em um momento decisivo: somos mais de 40 pessoas, a caminho de dobrar até o fim do ano, com o apoio de alguns dos investidores mais bem relacionados da IA. Quem entrar agora ajudará a definir o produto, a equipe e a estratégia durante nosso crescimento.
• Remuneração competitiva, incluindo participação societária