Forward Deployed Engineer — Geração de mídia

Sobre a Artificial Analysis

A Artificial Analysis é a principal empresa independente de benchmarks de IA. Ajudamos laboratórios, engenheiros e empresas a entender as capacidades da IA e tomar decisões fundamentais sobre suas estratégias de IA. Somos a autoridade de referência para compreender a IA, atendendo desde laboratórios e empresas até veículos de imprensa, investidores e formuladores de políticas públicas. Nossos benchmarks não apenas medem a fronteira da IA: eles ajudam ativamente a defini-la.

Nossos benchmarks e análises contam com a confiança de centenas de milhares de usuários e são a principal referência para laboratórios de IA como OpenAI, Google, Meta, NVIDIA e Anthropic, além de grandes publicações como The Wall Street Journal, Bloomberg, Financial Times e The Economist.

Somos uma equipe de mais de 40 pessoas, a caminho de triplicar até o fim do ano, com o apoio de Nat Friedman (Github, Meta), Daniel Gross (SSI), Andrew Ng (Google Brain, DeepLearning.ai, Amazon), Adam D'Angelo (Quora, Poe, OpenAI), Clem Delangue (Hugging Face) e outros líderes do setor.

A oportunidade

A Artificial Analysis avalia os principais modelos de geração de imagens e vídeos, oferecendo ao setor de IA comparações independentes de qualidade e desempenho, construídas com avaliações estruturadas de preferência humana.

Estamos contratando um Forward Deployed Engineer para assumir de ponta a ponta nosso pipeline de benchmarks de geração de mídia e ser o representante técnico da Artificial Analysis perante provedores desses modelos. Você executará avaliações de imagens e vídeos, gerenciará estudos de preferência humana e será o ponto de contato em que os provedores confiam para resultados, metodologia e dúvidas.

Esta é uma função forward-deployed orientada por processos para alguém atento aos detalhes, com familiaridade com Python e orgulho de executar pipelines de forma confiável todos os dias, representando nossa plataforma perante algumas das empresas de IA mais criativas do mundo.

O que você fará

• Gerar imagens e vídeos em diferentes modelos de acordo com protocolos padronizados de avaliação
• Configurar e gerenciar estudos de avaliação por preferência humana, incluindo criação do estudo, gestão de participantes e controle de qualidade
• Processar e analisar dados de votos de preferência para produzir resultados de benchmark
• Gerenciar o pipeline de ponta a ponta, da execução dos prompts à publicação dos resultados
• Atuar como ponto de contato técnico para provedores de modelos de geração de mídia: comunicar resultados, explicar a metodologia e responder a dúvidas
• Monitorar a qualidade dos dados, sinalizar anomalias e garantir a consistência entre as rodadas de avaliação
• Manter a documentação de processos e configurações
• Acompanhar novos lançamentos de modelos de imagem e vídeo

O que buscamos

Requisitos:

• Mais de 3 anos de experiência em uma função técnica com contato com clientes — engenharia de soluções, engenharia de suporte, consultoria técnica ou semelhante (em empresas como Stripe, Vercel, Cloudflare, Datadog, Palantir, Accenture ou comparáveis)
• Sólida proficiência em Python e facilidade para trabalhar com bases de código complexas que você não escreveu
• Experiência prática com APIs de modelos de IA, idealmente APIs de geração de imagens ou vídeos (OpenAI, Google, Black Forest Labs ou semelhantes)
• Excelentes habilidades de depuração; você consegue rastrear problemas entre APIs, pipelines de dados e código
• Sólidas habilidades de comunicação escrita e verbal em inglês, com capacidade de explicar claramente conceitos técnicos a stakeholders técnicos
• Alta capacidade de resposta e confiabilidade; você assume a responsabilidade pelos problemas dos clientes e acompanha tudo até a conclusão
• Conforto com trabalho operacional e repetitivo; você encontra satisfação em executar as atividades com excelência
• Muita atenção aos detalhes e tranquilidade sob pressão

Diferenciais (não obrigatórios):

• Experiência na gestão de estudos de pesquisa, pipelines de coleta de dados ou plataformas de crowdsourcing
• Experiência com modelos de geração de imagens ou vídeos (por exemplo, Sora, Veo, Kling, Midjourney, FLUX, Runway ou semelhantes)
• Experiência em análise de dados ou operações de pesquisa
• Familiaridade com metodologias de avaliação humana ou sistemas de classificação baseados em preferências
• Experiência em SaaS B2B ou ferramentas para desenvolvedores

Por que a Artificial Analysis?

• Ajude a definir como a IA é construída: os principais laboratórios de IA acompanham nossos benchmarks e os usam para orientar suas prioridades de desenvolvimento. Seu trabalho influenciará diretamente os rumos da IA.
• Torne-se uma autoridade mundial em IA: você avaliará todos os principais modelos, em todas as grandes capacidades, conforme forem lançados. Pouquíssimas funções oferecem uma exposição tão ampla à IA de fronteira.
• Trabalhe com os participantes mais importantes da IA: você gerenciará o relacionamento com equipes dos principais laboratórios de IA e grandes empresas, atuando como uma voz independente e confiável.
• Junte-se a nós em um momento decisivo: somos mais de 40 pessoas, a caminho de dobrar até o fim do ano, com o apoio de alguns dos investidores mais bem relacionados da IA. Quem entrar agora ajudará a definir o produto, a equipe e a estratégia durante nosso crescimento.
• Remuneração competitiva, incluindo participação societária