• 正社員

株式会社ジーニー

仕事内容

【＜JAPAN AI＞AI Evaluation Scientist】AIプロダクトを牽引/様々なサービス展開/多国籍企業でグローバルな働き方/赴任旅費やリフレッシュ手当などの福利厚生充実/グループ企業唯一の0から立ち上 AI・機械学習エンジニア 東京都新宿区西新宿６－８－１住友不動産新宿オークタワー ５/６階 正社員 求人の特徴 土日祝休み 業務内容 【募集背景】 JAPAN AIは「JAPAN AI AGENT / CHAT / SPEECH」をはじめとするエンタープライズ向けAIエージェント群を急速に拡大しています。プロダクトの中核がLLM / マルチエージェントへ移行する中、AI出力の品質・安全性・信頼性を科学的に評価する専門組織を新設します。 【業務内容】 AI Evaluation Scientistとして、 *AIエージェントの評価基盤 (Evaluation Infrastructure)* の設計・構築・運用をリードしていただきます。 ・評価メトリクスの研究開発 LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules) 評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection) 報酬モデリング / preference learning の評価への応用研究 評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection) 評価セット (合成データ + 実ログ) の設計・構築・メンテナンス ・自動評価パイプラインの設計・構築 スケーラブルな自動評価パイプラインの設計・実装 CI/CD への評価パイプライン組込みと品質ゲートの構築 エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応) 評価パイプラインの再現性・信頼性の担保 ・安全性・品質検証 自動レッドチーミング (automated adversarial testing) の研究・実装 安全性 / ポリシー準拠の検証フレームワーク構築 ハルシネーション検出・校正手法の研究・実装 プロンプト / ツール回帰テストの設計・実行 ・統計分析・実験設計 統計的実験計画 (A/B テスト、有意差検定) の設計・分析 品質トレンドの可視化・回帰検出の自動化 品質レポート作成と改善提案 評価シグナルの研究・開発チームへのフィードバック 【このポジションの魅力】 ・Evaluation Science の実践 : Apple・Anthropic・Scale AI・Google DeepMind 等が注力する「AI 評価科学」を、日本のエンタープライズ AI の文脈で実践できます。評価手法そのものを研究対象とする、世界的にも希少なポジションです ・ML/DS スキルの新しい応用 : 機械学習・統計学の専門性を「モデル開発」ではなく「モデル評価」に応用します。報酬モデリング、LLM-as-Judge の校正理論、ベンチマーク設計など、研究と実装の両面で知的挑戦があります ・品質がプロダクトの信頼を決める : 約200社が利用する本番環境で、あなたが構築した評価基盤がリリース品質の最後の砦になります。品質保証がビジネスインパクトに直結する手応えを実感できます ・新設ポジション : AI エージェントの品質評価科学という新しい専門領域を、ゼロから設計・構築できます。評価メトリクスの研究開発から自動評価パイプラインの本番実装まで、大きな裁量を持って取り組めます ・AI安全性の最前線 : 自動レッドチーミング、adversarial testing、ポリシー準拠検証など、Responsible AI の実践に携われます。AI エージェントが「企業の脳」として業務を自律実行する世界で、安全性を科学的に保証する役割を担います ・急成長環境 : 設立3年で200名以上の規模、9プロダクト展開のスタートアップで、技術的意思決定に大きな裁量を持てます。Research Engineer や Agent Harness Engineer と密接に連携し、プロダクト全体の品質に影響を与えるポジションです ※本求人は、株式会社キッカケクリエイションによる職業紹介での求人ご紹介となります 職種 AI・機械学習エンジニア 雇用形態 正社員 勤務体系 固定時間制 リモートワーク制度 ハイブリッドリモート