Forward Deployed Engineer — Generación de medios
Sobre Artificial Analysis
Artificial Analysis es la empresa independiente líder en benchmarking de IA. Ayudamos a laboratorios, ingenieros y empresas a entender las capacidades de la IA y a tomar decisiones críticas sobre sus estrategias de IA. Somos la referencia para entender la IA, desde laboratorios y empresas hasta medios, inversores y responsables de políticas públicas. Nuestros benchmarks no solo miden la frontera de la IA: ayudan activamente a definirla.
Nuestros benchmarks y análisis cuentan con la confianza de cientos de miles de usuarios y son una referencia para laboratorios de IA líderes como OpenAI, Google, Meta, NVIDIA y Anthropic, y para publicaciones como The Wall Street Journal, Bloomberg, Financial Times y The Economist.
Contamos con el respaldo de Nat Friedman (Github, Meta), Daniel Gross (SSI), Andrew Ng (Google Brain, DeepLearning.ai, Amazon), Adam D'Angelo (Quora, Poe, OpenAI), Clem Delangue (Hugging Face) y otros líderes de la industria.
La oportunidad
Artificial Analysis evalúa los modelos líderes de generación de imagen y video, proporcionando a la industria de IA comparativas independientes de calidad y rendimiento basadas en evaluaciones estructuradas de preferencia humana.
Estamos contratando un/a Forward Deployed Engineer para liderar de extremo a extremo nuestro pipeline de benchmarking de generación de medios y actuar como la cara técnica de Artificial Analysis ante los proveedores de modelos de generación de medios. Ejecutarás evaluaciones de imagen y video, gestionarás estudios de preferencia humana y serás el punto de contacto en el que los proveedores confían para resultados, metodología y consultas.
Es un rol desplegado y orientado a procesos, para alguien meticuloso, cómodo con Python y que se enorgullece de ejecutar pipelines de forma fiable día tras día, mientras representa nuestra plataforma ante algunas de las empresas de IA más creativas del mundo.
Qué harás
- Generar salidas de imagen y video en distintos modelos siguiendo protocolos de evaluación estandarizados
- Configurar y gestionar estudios de evaluación de preferencia humana, incluyendo diseño, gestión de participantes y control de calidad
- Procesar y analizar datos de votos de preferencia para producir resultados de benchmark
- Gestionar el pipeline de extremo a extremo, desde la ejecución de prompts hasta los resultados publicados
- Ser punto de contacto técnico para proveedores de modelos de generación de medios: comunicar resultados, explicar la metodología y atender consultas
- Monitorizar la calidad de los datos, señalar anomalías y asegurar consistencia entre rondas de evaluación
- Mantener documentación de procesos y configuraciones
- Mantenerte al día con nuevos lanzamientos de modelos de imagen y video
Qué buscamos
Requisitos:
- Más de 3 años de experiencia en un rol técnico de cara al cliente: solutions engineering, support engineering, consultoría técnica o similar (empresas como Stripe, Vercel, Cloudflare, Datadog, Palantir, Accenture o comparables)
- Sólido dominio de Python y comodidad trabajando con bases de código complejas que no escribiste
- Experiencia práctica trabajando con APIs de modelos de IA, idealmente APIs de generación de imagen o video (OpenAI, Google, Black Forest Labs o similares)
- Excelentes habilidades de depuración: puedes rastrear problemas entre APIs, pipelines de datos y código
- Fuertes habilidades de comunicación escrita y verbal en inglés, con capacidad para explicar conceptos técnicos con claridad a stakeholders técnicos
- Alta capacidad de respuesta y fiabilidad: tomas ownership de los problemas de clientes y haces seguimiento
- Comodidad con trabajo operacional y repetible: encuentras satisfacción en operar las cosas de forma excelente
- Alta atención al detalle y calma bajo presión
Valorable, no requerido:
- Experiencia gestionando estudios de investigación, pipelines de recogida de datos o plataformas de crowdsourcing
- Experiencia con modelos de generación de imagen o video (por ejemplo Sora, Veo, Kling, Midjourney, FLUX, Runway o similares)
- Experiencia en análisis de datos u operaciones de investigación
- Familiaridad con metodologías de evaluación humana o sistemas de ranking basados en preferencias
- Experiencia en B2B SaaS o herramientas para desarrolladores
¿Por qué Artificial Analysis?
- Influye en cómo se construye la IA: los laboratorios líderes siguen nuestros benchmarks y los usan para guiar sus prioridades de desarrollo. Tu trabajo influirá directamente en la dirección de la IA.
- Conviértete en experto/a mundial en IA: evaluarás todos los modelos principales, en todas las capacidades relevantes, a medida que se lanzan. Muy pocos puestos ofrecen esta amplitud de exposición a la IA de frontera.
- Trabaja con los actores más importantes de la IA: gestionarás relaciones con equipos de los principales laboratorios de IA y grandes empresas como una voz independiente y de confianza.
- Únete en un momento decisivo: crecemos rápido, respaldados por algunos de los inversores mejor conectados en IA. Quienes se unan ahora darán forma al producto, al equipo y a la estrategia mientras escalamos.
- Compensación competitiva, incluida participación accionaria