品質コンサルタント・QAマネージャー(Google Cloud Platform(GCP))の求人・転職情報

●任せる業務の概要 Hondaのコネクテッドサービスおよびデジタルサービスにおける品質保証領域の中核として、部門全体の品質戦略・プロセス・基準の策定および推進を担っていただきます。 ※専門性や適性、会社ニーズなどを踏まえ、会社が定める業務への配置転換を命じる場合があります。 ●具体的な想定業務 ・部門全体における品質戦略・品質基準の策定および展開 ・開発プロセスにおける品質保証プロセスの設計・標準化 ・テスト戦略および品質メトリクス(KPI/KGI)の設計・運用 ・品質向上に向けた仕組み化(テスト自動化・ツール導入・再利用化)の推進 ・各プロダクトに対する品質レビューおよび課題抽出・改善提案 ●使用ツール/開発言語など 量産環境:AWS、Google Cloud 使用ツール:Jira/Confluence、Teams、Slack、各種AI、CICD、VSCode ※業務上の事情により国内外の事業所(子会社及び関連会社を含む)への異動、または出向・派遣を命じる場合があります。

ミッション "AI の出力品質を科学する — 評価手法の研究・開発で、エージェントの信頼性を証明する" LLM / AIエージェントの出力品質を、機械学習・統計学・計量心理学の手法で定量的に評価・改善します。本ポジションは「テストする人」ではなく、 「何をもって良いAIとするかを定義し、測定する科学者」 です。 期待する役割について AI Evaluation Scientist として、AI エージェントの品質評価基盤の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 — LLM-as-Judge の校正、報酬モデリング、ベンチマーク設計を通じて「何をもって品質とするか」を科学的に定義します ●自動評価パイプラインの設計・構築 — 研究成果を本番 CI/CD に組み込み、スケーラブルな品質ゲートを実現します ●レッドチーミング・安全性検証 — adversarial testing の自動化、ポリシー準拠検証フレームワークを構築します ●統計的実験計画に基づく品質改善 — A/B テスト・有意差検定でプロンプト戦略やモデル変更の効果を定量的に検証します ●評価シグナルの研究・開発チームへのフィードバック — モデル改善の複利ループを構築します 約 200 社が本番利用するプロダクトの品質を「科学する」アプローチで担保します 業務内容 AI Evaluation Scientistとして、 AIエージェントの評価基盤 (Evaluation Infrastructure) の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 ・LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules) ・評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection) ・報酬モデリング / preference learning の評価への応用研究 ・評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection) ・評価セット (合成データ + 実ログ) の設計・構築・メンテナンス ●自動評価パイプラインの設計・構築 ・スケーラブルな自動評価パイプラインの設計・実装 ・CI/CD への評価パイプライン組込みと品質ゲートの構築 ・エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応) ・評価パイプラインの再現性・信頼性の担保 ●安全性・品質検証 ・自動レッドチーミング (automated adversarial testing) の研究・実装 ・安全性 / ポリシー準拠の検証フレームワーク構築 ・ハルシネーション検出・校正手法の研究・実装 ・プロンプト / ツール回帰テストの設計・実行 ●統計分析・実験設計 ・統計的実験計画 (A/B テスト、有意差検定) の設計・分析 ・品質トレンドの可視化・回帰検出の自動化 ・品質レポート作成と改善提案 ・評価シグナルの研究・開発チームへのフィードバック 業務シナリオ ※以下は想定される業務シナリオの例です ●シナリオ1: LLM-as-Judge の校正と妥当性検証 新しい評価メトリクスとして LLM-as-Judge を導入する際、judge モデルの校正 (calibration) を実施します。人間評価との一致率を統計的に検証し、rubric 設計を反復改善します。construct validity を確認した上で、自動評価パイプラインに組み込み、評価コストを 80% 削減しながら人間評価と同等の信頼性を実現します。 ●シナリオ2: 新モデル導入時の品質ゲート LLMプロバイダーが新モデルをリリースした際、既存のベンチマークスイートで回帰テストを実行し、factualityスコアが3%低下していることを検出します。原因を分析し、プロンプト調整で品質を維持したまま新モデルへの移行を完了します。 ●シナリオ3: 自動レッドチーミングによる安全性検証 金融機関向けにJAPAN AI AGENTを導入する際、自動レッドチーミングパイプラインを構築します。adversarial promptの自動生成・分類器による脆弱性検出を実装し、業界固有のリスクシナリオ(機密情報漏洩、不適切な金融アドバイス等)を網羅的にテストします。ポリシー準拠率99%以上を達成します。 ●従事すべき業務の変更の範囲 会社の定める業務 成果責任 (KR/メトリクス) ●評価カバレッジ率(テストケース網羅率) ●回帰検出率(リリース前の品質劣化検出率 ≥ 95%) ●評価パイプライン実行時間(CI/CD内で完了) ●LLM-as-Judge と人間評価の一致率 ●False Positive / Negative 率 ●安全性インシデント発生率(リリース後) チーム体制 約120名が開発組織に在籍しています。 AI Evaluation Scientistは品質保証の専門チームとして、以下のチームと密接に連携します: ●密接に連携する役割: ・Agentic Product Engineer — エージェント機能開発 ・Research Engineer — 研究開発・モデル改善 ・Agent Harness Engineer / Software Engineer (AI Platform) — AI 実行基盤開発 ・Product Manager — プロダクト設計・品質要件定義 開発環境 ●言語 : Python (評価パイプライン・分析), TypeScript / React / Next.js (フロントエンド部) / NX ●評価 / QA : pytest, LangSmith, Weights & Biases, custom eval frameworks ●データ : BigQuery, Spark, Pandas ●インフラ : GCP (コンテナ / K8s), Docker, Terraform ●CI/CD : GitHub Actions ●ツール : Slack, Confluence, Linear, Google Workspace, GitHub, Notion ●AI 開発支援 : Claude Code MAX Plan, Cursor, ChatGPT, Devin ●作業環境 : Mac (Apple Silicon), デュアルモニタ対応

●このポジションの3つの特徴 01　「本番で信頼できるAIエージェント」をサービスにします LLM・RAGを使ったAIエージェントを作るだけでなく、評価・品質の担保まで含めて顧客に届けます。作る側(AI開発)と確かめる側(品質保証)が同じ組織にあるからこそできるサービスです。 02　AI開発・品質保証のエンジニアを率いて、サービスをつくります 一人で作り込む仕事ではありません。社内のエンジニアでチームを組み、役割を分け、設計とレビューを担い、技術の判断をしながら開発を進めます。ご自身も手を動かし、チームに見本を示します。 03　仕事のキモは「チームで提供できる」状態をつくることです 作って終わりではありません。開発の型(AI駆動開発の標準・品質ゲート)と評価の型に落とし、誰が作っても品質を落とさずに提供できるチームをつくることが、このポジションの成果です。 ●このポジションで得られるもの ・AIエージェント×品質保証という、まだ勝者の決まっていない領域で、サービスを立ち上げる経験。 ・作る(AI開発)・確かめる(品質保証)・直すがひとつの組織にそろった環境で、チームを率いて開発できること。 ・自分たちがつくった型に価格がつき、チームで顧客に届く経験。 ・サービスの責任者として、サービスとチームを育てていく道。 ## 業務内容 担当するサービスについて、次の5つを担っていただきます。どれも切り離せない仕事ですが、最も大切にしていただきたいのは「4. チームで提供できるようにする」です。作って終わりではなく、ご自身がいなくても、チームが同じ品質で提供できる状態をつくることが、このポジションの成果です。 【1. 決める ― サービスの中身と、提供の形を決める】 ・顧客の業務と課題から、AIエージェントで何を解き、どの水準の品質を約束するかを決めます。 ・提供メニュー・手順・品質基準・価格の考え方を、事業の責任者と相談しながら決めます。 【2. 作る ― 自らも手を動かし、技術の判断を担う】 ・AIエージェントの設計、RAG・データ基盤との連携、評価の仕組みなど、要となる部分はご自身でも作り、試します。 ・担当する範囲のアーキテクチャ・技術選定・品質の基準について、技術の判断を担います。 【3. 率いる ― AI開発・品質保証のエンジニアを動かして開発する】 ・社内のAI開発・品質保証のエンジニアでチームを組み、役割を分け、開発を進めます。 ・設計・コードのレビュー、評価結果の確認を通じて、チームの成果物の品質に責任を持ちます。 【4. チームで提供できるようにする ― 型にして、誰が作っても品質を落とさない状態にする】 ・開発の手順、AI駆動開発の標準、品質ゲート、評価の設計を「型」として書き起こし、チームで使える状態にします。 ・型をメンバーに教え、ご自身がいなくても、チームが同じ品質でサービスを作り、提供できるようにします。 【5. 届ける ― 顧客の前に立ち、最初の提供をやり切る】 ・営業担当と組み、技術面の提案を担います。 ・最初の案件では、チームを率いて導入・提供をやり切り、社外の実績をつくります。 #### ●技術環境 【言語 / フレームワーク】 React、TypeScript(フロントエンド)/Python、C#(バックエンド) 【クラウド】 Azure(AWS・GCPのご経験も歓迎) 【データベース / 基盤】 PostgreSQL、Databricks 【AI領域】 生成AI(LLM/RAG/AIエージェント)を活用したAI駆動開発 【AI開発ツール】 Claude Code、Cursor、GitHub Copilot、Codex、CodeRabbit 【品質保証・評価】 テスト設計、テスト自動化、CIの品質ゲート、AIの評価設計(評価データセット・自動評価・回帰評価) ●入社後のロードマップ 【入社〜3ヶ月】 進行中のAIエージェント基盤・品質担保の型づくりに加わり、チームと技術の現状をつかみます。あわせて、自社の業務を題材にしたAIエージェントの開発を、評価の設計まで含めてリードし、サービスの原型を1つ形にしていただきます(例:営業支援のAIを、品質の基準まで含めて自社で使える状態にする)。 【3〜6ヶ月】 自社で確かめた結果をもとに、提供メニュー・品質基準・価格の案を固め、営業担当とともに既存の顧客に提案します。開発と評価の手順を、チームの型として書き起こします。 【6ヶ月〜1年】 社外の顧客への提供実績をつくります。チームのメンバーが型に沿って、品質を落とさずに作れる状態にします。 【1年〜】 サービスの責任者として、サービスとチームを育てていただきます。次のサービスの立ち上げや、型を使えるエンジニアの育成もリードいただきます。 ※ 進む速さはご経験と成果によって変わります。どこから担っていただくかは、ご経験をうかがったうえで一緒に決めます。 ●あえてお伝えしたい「厳しいリアル」 【サービスはまだ「売れる形」になっていません】 社外への提供は、最初の1件をつくる段階です。提供メニュー・価格・品質基準は整備の途中で、何を型にするかを決めるところから関わっていただきます。 【チームのメンバーは、顧客の案件と兼務の人もいます】 サービス開発に関わるエンジニアの稼働は、事業の責任者と調整しながら確保します。限られた時間の中で、役割を分け、成果につなげるリードが求められます。 【立ち上げの段階は、ご自身が手を動かす場面も多くあります】 チームを率いる役割ですが、型ができるまでは、要となる部分をご自身で作り、見本を示す場面が多くなります。 【営業を一人で背負う必要はありませんが、顧客の前には立っていただきます】 営業担当と組む体制で進めます。一方で、技術面の提案や最初の提供では、ご自身が顧客と直接向き合います。 【原則「出社」の環境です(リモートワーク不可)】 立ち上げの段階は、事業の責任者・チームのエンジニアとの密なコミュニケーションと、速い意思決定が欠かせないと考えているためです。 ●このポジションではないこと ミスマッチを防ぐため、あらかじめお伝えします。 ・全社のDX・変革を企画し、推進する役割ではありません。担っていただくのは、AIエージェント×品質保証のサービスです。 ・資料づくりや取りまとめが中心の、PMO・企画の役割ではありません。技術の判断と、ご自身が手を動かすことが欠かせません。 ・一人で作り込むスペシャリストの役割でもありません。エンジニアのチームを動かし、チームで提供できる状態をつくることが仕事の中心です。 ●担当していただくサービス 【サービスの方向性】 本番で信頼できると担保されたAIエージェントを、顧客に届けるサービス 【サービスの中身(例)】 ① AIエージェントの構築:業務の分解から、AIエージェント・ワークフロー型AIの設計・構築、既存システム・データとの連携(LLM・RAG、AIエージェントを支えるデータ基盤を含む)、運用まで ② 品質の担保:正確性・タスクの完了・権限・安定性・安全性・業務への適合の観点での評価設計、評価データセットと自動評価、モデル更新時の回帰評価 ③ 作り方の型:AI駆動開発で、速く、品質を落とさずに作るための開発標準・レビュー基準・品質ゲート 【いまの進み方】 複数のチームが並行して、AIエージェント基盤と品質担保の型づくりを進めています。自社の業務(営業支援のAIなど)を題材に作り、まず自社で効果を確かめてから社外へ届けます。大手SIerのプロジェクトにはチームで参画し、AIエージェントを支えるデータ基盤の開発も進めています。 【一緒に動くメンバー】 社内のAIソリューション開発のエンジニア、品質保証(QA・テスト)のエンジニア、営業担当 【いまの状態】 社外への提供は、最初の1件をつくる段階です。提供メニュー・価格・品質基準は整備の途中です。 ※ どこから担っていただくか、サービスの中身をどう広げるか、社内のリードエンジニアとどう役割を分けるかは、ご経験と得意な領域をうかがったうえで一緒に決めます。 ●従事すべき業務の変更の範囲 →会社の定める業務