Forward Deployed Engineer - 언어 모델
Artificial Analysis 소개
Artificial Analysis는 선도적인 독립 AI 벤치마킹 기업입니다. 연구소, 엔지니어, 기업이 AI 역량을 이해하고 AI 전략에 관한 중요한 결정을 내릴 수 있도록 지원합니다. AI 연구소와 기업부터 미디어, 투자자, 정책 입안자에 이르기까지 AI를 이해하는 데 가장 먼저 찾는 권위 있는 기관입니다. 당사의 벤치마크는 최첨단 AI를 측정하는 데 그치지 않고 프런티어를 적극적으로 형성합니다.
수십만 명의 사용자가 당사의 벤치마크와 분석을 신뢰합니다. OpenAI, Google, Meta, NVIDIA, Anthropic을 비롯한 주요 AI 연구소와 The Wall Street Journal, Bloomberg, Financial Times, The Economist를 비롯한 주요 언론이 이를 핵심 참고 자료로 활용합니다.
40명 이상의 팀으로 올해 말까지 세 배로 성장할 계획이며, Nat Friedman(Github, Meta), Daniel Gross(SSI), Andrew Ng(Google Brain, DeepLearning.ai, Amazon), Adam D'Angelo(Quora, Poe, OpenAI), Clem Delangue(Hugging Face)를 비롯한 업계 리더들의 후원을 받고 있습니다.
기회
Artificial Analysis는 업계에서 가장 포괄적인 언어 모델 벤치마킹 스위트 중 하나를 운영하며, 당사 데이터에 의존하는 AI 연구소와 기업을 위해 프런티어 모델의 품질, 속도, 가격을 평가합니다.
언어 모델 벤치마킹 스택의 일상 운영을 책임지고 업계에서 가장 중요한 연구소를 상대하는 Artificial Analysis의 기술 대표로 활동할 Forward Deployed Engineer를 채용합니다. 새로운 모델을 평가 파이프라인에 온보딩하고, 벤치마크를 실행하고 디버깅하며, AI 연구소 고객의 주 기술 연락 창구로서 결과를 설명하고 방법론 관련 질문에 답하며 엔드포인트 문제를 실시간으로 해결합니다.
말 그대로 Forward Deployed 직무입니다. 플랫폼과 가장 정교한 고객이 만나는 지점에서 양쪽이 제대로 작동하도록 책임집니다. 복잡한 스택을 탁월하고 일관되며 안정적으로 운영하고, 고객이 이름을 지목해 찾는 신뢰받는 엔지니어가 되는 일입니다.
담당 업무
- Python 기반 언어 모델 벤치마킹 파이프라인을 처음부터 끝까지 운영하고 유지합니다. 신규 모델을 온보딩하고, 평가를 구성하고, 벤치마크를 실행하고, 결과를 검증합니다.
- API 엔드포인트 시간 초과 및 오류부터 예상치 못한 벤치마크 출력까지 스택 전반의 문제를 디버깅하고 신속하게 해결합니다.
- AI 연구소 고객의 주 기술 담당자로서 벤치마킹 결과를 명확히 전달하고, 방법론을 설명하고, 기술 질문에 답하며, Slack과 화상 회의로 통합 문제를 해결합니다.
- 벤치마크 실행에서 이상 징후를 모니터링하고 불일치를 조사하며 게시 결과의 정확성과 무결성을 보장합니다.
- 프로세스, 알려진 문제, 모델별 구성에 관한 문서를 유지합니다.
- 엔지니어링 팀과 협력해 파이프라인 개선 사항을 제안하고 프로세스 개선에 기여합니다.
- 새로운 모델 출시, API 변경, 언어 모델 생태계의 발전을 지속적으로 파악합니다.
자격 요건
필수 요건:
- 솔루션 엔지니어링, 지원 엔지니어링, 기술 컨설팅 또는 Stripe, Vercel, Cloudflare, Datadog, Palantir, Accenture 및 이에 준하는 기업의 유사 고객 대면 기술 직무 경력 3년 이상
- 뛰어난 Python 역량과 본인이 작성하지 않은 복잡한 코드베이스를 다룰 수 있는 능력
- AI/ML 모델 API(OpenAI, Anthropic, Google, Meta 등) 실무 경험
- API, 데이터 파이프라인, 코드 전반에서 문제를 추적할 수 있는 탁월한 디버깅 능력
- 기술 이해관계자에게 기술 개념을 명확히 설명할 수 있는 뛰어난 영어 문서 및 구두 의사소통 능력
- 빠른 대응과 높은 신뢰성. 고객 문제를 책임지고 끝까지 해결하는 태도
- 반복적인 운영 업무를 편안하게 수행하고 이를 탁월하게 운영하는 데 보람을 느끼는 태도
- 세부 사항에 대한 높은 집중력과 압박 속에서도 침착함을 유지하는 능력
우대 사항(필수 아님):
- AI 평가, 벤치마킹 또는 테스트 방법론 경험
- LLM 추론 인프라(토큰화, 지연 시간 측정, 처리량 지표)에 대한 이해
- AI 연구소 또는 모델 제공업체에서 일했거나 협력한 경험
- B2B SaaS 또는 개발자 도구 분야 경험
왜 Artificial Analysis인가요?
- AI가 만들어지는 방식에 영향을 미치세요: 주요 AI 연구소는 당사의 벤치마크를 추적하고 개발 우선순위를 정하는 데 활용합니다. 여러분의 업무가 AI의 방향에 직접 영향을 미칩니다.
- 세계적인 AI 전문가로 성장하세요: 주요 모델이 출시될 때마다 모든 핵심 역량에 걸쳐 평가합니다. 프런티어 AI를 이처럼 폭넓게 접할 수 있는 직무는 매우 드뭅니다.
- AI 업계에서 가장 중요한 주역들과 협력하세요: 신뢰받는 독립적인 목소리로서 주요 AI 연구소 및 대기업 팀과의 관계를 관리합니다.
- 결정적인 순간에 합류하세요: 40명 이상의 팀으로 올해 말까지 두 배로 성장할 계획이며, AI 업계에서 인맥이 가장 폭넓은 투자자들의 후원을 받고 있습니다. 지금 합류하는 구성원은 회사가 성장하는 과정에서 제품, 팀, 전략을 만들어 갑니다.
- 지분을 포함한 경쟁력 있는 보상