募集中のポジション一覧
技術スタッフ（プロダクト含む）フルタイムサンフランシスコ（オンサイト）

技術スタッフ（言語モデル評価）

Artificial Analysisについて

Artificial Analysisは、独立系AIベンチマーク企業のリーディングカンパニーです。AIラボ、エンジニア、企業がAIの能力を理解し、AI戦略に関する重要な意思決定を行えるよう支援しています。AIラボや企業からメディア、投資家、政策立案者まで、AIを理解するための信頼できる情報源として選ばれています。当社のベンチマークはAIの最先端を測るだけでなく、そのフロンティア自体を形づくっています。

当社のベンチマークと分析は数十万人のユーザーから信頼され、OpenAI、Google、Meta、NVIDIA、Anthropicなどの主要AIラボや、The Wall Street Journal、Bloomberg、Financial Times、The Economistなどの主要メディアにとって定番の情報源となっています。

当社は40人を超えるチームで、年末までに3倍の規模へ成長する見込みです。Nat Friedman（Github、Meta）、Daniel Gross（SSI）、Andrew Ng（Google Brain、DeepLearning.ai、Amazon）、Adam D'Angelo（Quora、Poe、OpenAI）、Clem Delangue（Hugging Face）をはじめとする業界リーダーから支援を受けています。

このポジションについて

言語モデル評価は、AIにおける最も核心的な問いです。これらのシステムは実際に何ができるのでしょうか。Artificial Analysis Intelligence IndexからAA-Omniscience、AA-Briefcase、コーディングエージェント評価まで、当社が示す答えは業界の基準となっています。その次世代を構築する技術スタッフを募集します。

フロンティアベンチマークを構築したい方のためのポジションです。フロンティア能力を先取りする評価を設計し、汚染に強いデータセットを構築し、まだ誰も測定方法を確立していないものを測ります。主要モデルのリリースごとに評価を実行し、業界全体が読む結果を公開します。

この仕事の中心は構築です。評価業務を軸に分析やラボとの協働があり、日常的な顧客対応はコマーシャルチームが担います。

業務内容

  • 次世代フロンティア評価を設計：AA-BriefcaseやAA-Omniscienceのように、推論、知識、コーディング、エージェント型能力などを対象とする次世代のフロンティア評価を考案・提供する
  • 評価データセットとインフラの構築：汚染耐性とフロンティア規模での再現性を備えた、ベンチマークを支えるデータセット、ハーネス、採点システムを構築する
  • 将来のIntelligence Indexを形づくる：構築した評価はArtificial Analysis Intelligence Indexの将来版やプラットフォームの他領域に組み込まれ、業界におけるフロンティア能力の測定方法を定義する
  • 影響力のある分析を公開：業界における言語モデルの進歩への理解を形づくるレポート、指数、データ可視化を作成する
  • フロンティアラボとリリース前モデルに取り組む：リリース前および新規リリースのモデルを含む主要ラボのシステムを、その研究チームと直接協働してベンチマークする。日常的な顧客対応はコマーシャルチームが担うため、科学的な仕事に集中できる
  • 主要モデルをすべて評価：フロンティアモデルのリリースごとに評価スイートを実行し、業界に引用される結果の完全性に責任を持つ
  • AIネイティブになる：最先端のAIツールを活用するAIネイティブなワークフローを取り入れ、変化の速い業界で生産性を高め、AIベンチマークにおける競争優位性を維持する

求める人物像

言語モデル評価に関する深い実務経験があり、多くのベンチマークが失敗する理由について明確な見解を持つ方を求めます。

想定する経歴：AIラボの評価・ベンチマークチーム、評価を専門とする組織での研究・エンジニアリング職、本番環境で評価ハーネスとデータセットを構築したMLエンジニア、またはNLP・ML評価分野で優れた出版実績を持つ研究者。

必須要件：

  • 業界または研究分野で3年以上の関連実務経験
  • 優れた分析力と批判的思考力
  • 高いPythonスキルと、評価ハーネスの実行・データセット構築に関する実務経験
  • 主要ベンチマークとその失敗パターン、汚染、選好ベースの手法、エージェント型評価など、LLM評価の状況に関する深い知識
  • 確かな統計的基礎。結果がシグナルなのかノイズなのかを判断できること
  • フロンティアAIへの真摯で明確な関心と知識。単にAIツールを使うだけでなく、AIがどこへ向かうかについて根拠ある見解を持つ方

Artificial Analysisで働く理由

  • AI開発のあり方を形づくる：主要AIラボは当社のベンチマークを追跡し、開発優先順位の判断に活用しています。あなたの仕事がAIの進む方向に直接影響します。
  • AIの世界的エキスパートになる：主要モデルがリリースされるたびに、主要な能力のすべてを評価します。これほど幅広くフロンティアAIに触れられる仕事はほとんどありません。
  • AI業界の最重要プレイヤーと働く：信頼される独立した立場から、主要AIラボや大手企業のチームとの関係を担います。
  • 決定的な成長期に加わる：当社は40人を超え、年末までに倍増する見込みで、AI業界で強いネットワークを持つ投資家から支援を受けています。今加わるメンバーが、事業拡大に伴うプロダクト、チーム、戦略を形づくります。
  • 株式報酬を含む競争力のある待遇

このポジションに興味がありますか？

応募書類をお送りください。追ってご連絡します。

今すぐ応募