品質コンサルタント・QAマネージャー(GitHub Actions)の求人・転職情報

JAPAN AI株式会社

ミッション "AI の出力品質を科学する — 評価手法の研究・開発で、エージェントの信頼性を証明する" LLM / AIエージェントの出力品質を、機械学習・統計学・計量心理学の手法で定量的に評価・改善します。本ポジションは「テストする人」ではなく、 「何をもって良いAIとするかを定義し、測定する科学者」 です。 期待する役割について AI Evaluation Scientist として、AI エージェントの品質評価基盤の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 — LLM-as-Judge の校正、報酬モデリング、ベンチマーク設計を通じて「何をもって品質とするか」を科学的に定義します ●自動評価パイプラインの設計・構築 — 研究成果を本番 CI/CD に組み込み、スケーラブルな品質ゲートを実現します ●レッドチーミング・安全性検証 — adversarial testing の自動化、ポリシー準拠検証フレームワークを構築します ●統計的実験計画に基づく品質改善 — A/B テスト・有意差検定でプロンプト戦略やモデル変更の効果を定量的に検証します ●評価シグナルの研究・開発チームへのフィードバック — モデル改善の複利ループを構築します 約 200 社が本番利用するプロダクトの品質を「科学する」アプローチで担保します 業務内容 AI Evaluation Scientistとして、 AIエージェントの評価基盤 (Evaluation Infrastructure) の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 ・LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules) ・評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection) ・報酬モデリング / preference learning の評価への応用研究 ・評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection) ・評価セット (合成データ + 実ログ) の設計・構築・メンテナンス ●自動評価パイプラインの設計・構築 ・スケーラブルな自動評価パイプラインの設計・実装 ・CI/CD への評価パイプライン組込みと品質ゲートの構築 ・エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応) ・評価パイプラインの再現性・信頼性の担保 ●安全性・品質検証 ・自動レッドチーミング (automated adversarial testing) の研究・実装 ・安全性 / ポリシー準拠の検証フレームワーク構築 ・ハルシネーション検出・校正手法の研究・実装 ・プロンプト / ツール回帰テストの設計・実行 ●統計分析・実験設計 ・統計的実験計画 (A/B テスト、有意差検定) の設計・分析 ・品質トレンドの可視化・回帰検出の自動化 ・品質レポート作成と改善提案 ・評価シグナルの研究・開発チームへのフィードバック 業務シナリオ ※以下は想定される業務シナリオの例です ●シナリオ1: LLM-as-Judge の校正と妥当性検証 新しい評価メトリクスとして LLM-as-Judge を導入する際、judge モデルの校正 (calibration) を実施します。人間評価との一致率を統計的に検証し、rubric 設計を反復改善します。construct validity を確認した上で、自動評価パイプラインに組み込み、評価コストを 80% 削減しながら人間評価と同等の信頼性を実現します。 ●シナリオ2: 新モデル導入時の品質ゲート LLMプロバイダーが新モデルをリリースした際、既存のベンチマークスイートで回帰テストを実行し、factualityスコアが3%低下していることを検出します。原因を分析し、プロンプト調整で品質を維持したまま新モデルへの移行を完了します。 ●シナリオ3: 自動レッドチーミングによる安全性検証 金融機関向けにJAPAN AI AGENTを導入する際、自動レッドチーミングパイプラインを構築します。adversarial promptの自動生成・分類器による脆弱性検出を実装し、業界固有のリスクシナリオ(機密情報漏洩、不適切な金融アドバイス等)を網羅的にテストします。ポリシー準拠率99%以上を達成します。 ●従事すべき業務の変更の範囲 会社の定める業務 成果責任 (KR/メトリクス) ●評価カバレッジ率(テストケース網羅率) ●回帰検出率(リリース前の品質劣化検出率 ≥ 95%) ●評価パイプライン実行時間(CI/CD内で完了) ●LLM-as-Judge と人間評価の一致率 ●False Positive / Negative 率 ●安全性インシデント発生率(リリース後) チーム体制 約120名が開発組織に在籍しています。 AI Evaluation Scientistは品質保証の専門チームとして、以下のチームと密接に連携します: ●密接に連携する役割: ・Agentic Product Engineer — エージェント機能開発 ・Research Engineer — 研究開発・モデル改善 ・Agent Harness Engineer / Software Engineer (AI Platform) — AI 実行基盤開発 ・Product Manager — プロダクト設計・品質要件定義 開発環境 ●言語 : Python (評価パイプライン・分析), TypeScript / React / Next.js (フロントエンド部) / NX ●評価 / QA : pytest, LangSmith, Weights & Biases, custom eval frameworks ●データ : BigQuery, Spark, Pandas ●インフラ : GCP (コンテナ / K8s), Docker, Terraform ●CI/CD : GitHub Actions ●ツール : Slack, Confluence, Linear, Google Workspace, GitHub, Notion ●AI 開発支援 : Claude Code MAX Plan, Cursor, ChatGPT, Devin ●作業環境 : Mac (Apple Silicon), デュアルモニタ対応

株式会社ヤマシタ

※ご経験と志向性に応じて、以下の役割の中から適切な領域をお任せします。 ・品質戦略・QA計画の策定と推進 複数プロダクト(データ基盤PJ、原価管理システムPJ、生産管理システムPJ等)を横断的に見渡し、品質目標の設定からQA計画の策定までをリードします。プロジェクトの特性やリスクに応じて優先順位付けを行い、限られたリソースで最大の品質効果を生み出す戦略を立案・推進します。 ・品質プロセスの設計とレビュー体制の構築 開発の上流工程から品質観点でレビューに参加し、要件/基本設計/詳細設計の各フェーズでテスト観点を定義します。PdM/POや開発エンジニアと連携し、不具合の早期発見・早期解決ができる品質プロセスを構築します。 ・非機能品質(性能・信頼性・運用性)の保証 複数システム間のデータ連携部分において、障害発生時の復旧検証やデータ整合性の確認など、複雑なシナリオの設計・実行をリードします。特に、特定システムの障害時に他システムへの影響を最小化できるかどうかの検証が重要なミッションとなります。 ・テスト自動化による品質の安定化 自動化テストツール等を活用し、回帰テストの効率化と品質の安定化を推進します。CI/CD上での自動テスト実行環境を整備し、リリースサイクルの短縮と品質担保の両立を実現します。 ・外部パートナーとの連携によるQA体制の拡充 外部委託先との連携窓口として、テスト計画の立案、進行管理、成果物レビューを担当します。社内開発チームと外部パートナーの橋渡し役として、品質基準の統一と効率的なQA運用を実現します。 ・品質メトリクスの設計・可視化と改善サイクル運用 カバレッジ、欠陥密度、Lead?Time等の品質指標を設計し、ダッシュボードによる可視化を行います。データに基づいた改善提案を行い、継続的な品質向上サイクルを確立します。 【組織体制】 システム開発部には約20名が在籍しており、複数のプロダクトチームに分かれて開発を進めています。QAリードは各チームを横断的に支援しながら、PdM/POやエンジニアと密に連携いただきながら品質向上をお任せします。外部パートナーも活用しつつ、社内外のリソースを組み合わせたQA体制を構築していただきたいと考えています。 【組織体制】 ・E2E:Playwright/Cypress ・負荷テスト:k6 ・CI/CD:GitHub Actions ・コラボレーション:Notion、Issueトラッカー、各種ドキュメント基盤 ・AIエージェント:Claude Code、AWS DevOps Agent、その他オープンソースで提供されているQAエンジニア向けSub Agent 【ワークスタイル】 ・自ら動き、相手に働きかける、重要な活動を人任せにしない。(ハンズオンを最も大事にしています) ・社員のやりがいを尊重し、仲間と高め合う。(社員の仕事のやりがいを大事にしています) ・自分はフェアであろうとしているか?自分や他者を豊かにしているか?と問う(正しく生きる、豊かに生きる) 【業務内容の変更範囲】当社業務全般