品質コンサルタント・QAマネージャー(Slack)の求人・転職情報

JAPAN AI株式会社

ミッション "AI の出力品質を科学する — 評価手法の研究・開発で、エージェントの信頼性を証明する" LLM / AIエージェントの出力品質を、機械学習・統計学・計量心理学の手法で定量的に評価・改善します。本ポジションは「テストする人」ではなく、 「何をもって良いAIとするかを定義し、測定する科学者」 です。 期待する役割について AI Evaluation Scientist として、AI エージェントの品質評価基盤の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 — LLM-as-Judge の校正、報酬モデリング、ベンチマーク設計を通じて「何をもって品質とするか」を科学的に定義します ●自動評価パイプラインの設計・構築 — 研究成果を本番 CI/CD に組み込み、スケーラブルな品質ゲートを実現します ●レッドチーミング・安全性検証 — adversarial testing の自動化、ポリシー準拠検証フレームワークを構築します ●統計的実験計画に基づく品質改善 — A/B テスト・有意差検定でプロンプト戦略やモデル変更の効果を定量的に検証します ●評価シグナルの研究・開発チームへのフィードバック — モデル改善の複利ループを構築します 約 200 社が本番利用するプロダクトの品質を「科学する」アプローチで担保します 業務内容 AI Evaluation Scientistとして、 AIエージェントの評価基盤 (Evaluation Infrastructure) の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 ・LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules) ・評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection) ・報酬モデリング / preference learning の評価への応用研究 ・評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection) ・評価セット (合成データ + 実ログ) の設計・構築・メンテナンス ●自動評価パイプラインの設計・構築 ・スケーラブルな自動評価パイプラインの設計・実装 ・CI/CD への評価パイプライン組込みと品質ゲートの構築 ・エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応) ・評価パイプラインの再現性・信頼性の担保 ●安全性・品質検証 ・自動レッドチーミング (automated adversarial testing) の研究・実装 ・安全性 / ポリシー準拠の検証フレームワーク構築 ・ハルシネーション検出・校正手法の研究・実装 ・プロンプト / ツール回帰テストの設計・実行 ●統計分析・実験設計 ・統計的実験計画 (A/B テスト、有意差検定) の設計・分析 ・品質トレンドの可視化・回帰検出の自動化 ・品質レポート作成と改善提案 ・評価シグナルの研究・開発チームへのフィードバック 業務シナリオ ※以下は想定される業務シナリオの例です ●シナリオ1: LLM-as-Judge の校正と妥当性検証 新しい評価メトリクスとして LLM-as-Judge を導入する際、judge モデルの校正 (calibration) を実施します。人間評価との一致率を統計的に検証し、rubric 設計を反復改善します。construct validity を確認した上で、自動評価パイプラインに組み込み、評価コストを 80% 削減しながら人間評価と同等の信頼性を実現します。 ●シナリオ2: 新モデル導入時の品質ゲート LLMプロバイダーが新モデルをリリースした際、既存のベンチマークスイートで回帰テストを実行し、factualityスコアが3%低下していることを検出します。原因を分析し、プロンプト調整で品質を維持したまま新モデルへの移行を完了します。 ●シナリオ3: 自動レッドチーミングによる安全性検証 金融機関向けにJAPAN AI AGENTを導入する際、自動レッドチーミングパイプラインを構築します。adversarial promptの自動生成・分類器による脆弱性検出を実装し、業界固有のリスクシナリオ(機密情報漏洩、不適切な金融アドバイス等)を網羅的にテストします。ポリシー準拠率99%以上を達成します。 ●従事すべき業務の変更の範囲 会社の定める業務 成果責任 (KR/メトリクス) ●評価カバレッジ率(テストケース網羅率) ●回帰検出率(リリース前の品質劣化検出率 ≥ 95%) ●評価パイプライン実行時間(CI/CD内で完了) ●LLM-as-Judge と人間評価の一致率 ●False Positive / Negative 率 ●安全性インシデント発生率(リリース後) チーム体制 約120名が開発組織に在籍しています。 AI Evaluation Scientistは品質保証の専門チームとして、以下のチームと密接に連携します: ●密接に連携する役割: ・Agentic Product Engineer — エージェント機能開発 ・Research Engineer — 研究開発・モデル改善 ・Agent Harness Engineer / Software Engineer (AI Platform) — AI 実行基盤開発 ・Product Manager — プロダクト設計・品質要件定義 開発環境 ●言語 : Python (評価パイプライン・分析), TypeScript / React / Next.js (フロントエンド部) / NX ●評価 / QA : pytest, LangSmith, Weights & Biases, custom eval frameworks ●データ : BigQuery, Spark, Pandas ●インフラ : GCP (コンテナ / K8s), Docker, Terraform ●CI/CD : GitHub Actions ●ツール : Slack, Confluence, Linear, Google Workspace, GitHub, Notion ●AI 開発支援 : Claude Code MAX Plan, Cursor, ChatGPT, Devin ●作業環境 : Mac (Apple Silicon), デュアルモニタ対応

株式会社本田技術研究所

●任せる業務の概要 Hondaのコネクテッドサービスおよびデジタルサービスにおける品質保証領域の中核として、部門全体の品質戦略・プロセス・基準の策定および推進を担っていただきます。 ※専門性や適性、会社ニーズなどを踏まえ、会社が定める業務への配置転換を命じる場合があります。 ●具体的な想定業務 ・部門全体における品質戦略・品質基準の策定および展開 ・開発プロセスにおける品質保証プロセスの設計・標準化 ・テスト戦略および品質メトリクス(KPI/KGI)の設計・運用 ・品質向上に向けた仕組み化(テスト自動化・ツール導入・再利用化)の推進 ・各プロダクトに対する品質レビューおよび課題抽出・改善提案 ●使用ツール/開発言語など 量産環境:AWS、Google Cloud 使用ツール:Jira/Confluence、Teams、Slack、各種AI、CICD、VSCode ※業務上の事情により国内外の事業所(子会社及び関連会社を含む)への異動、または出向・派遣を命じる場合があります。

株式会社エス・エム・エス

お任せしたい​こと ​主に​VerticalSaaSカイポケの​開発組織に​参画し、​QAを​担当しながら​QA組織の​文化醸成や​制度設計などに​携わっていただきます。​ ゆく​ゆくは、​組織マネジメントや​カイポケ以外の​事業部の​QAなども​お任せできればと​考えています。 ●​自社プロダクト​「カイポケ」の​QA業務 ・サービス全体を​スコープに​した​品質保証戦略の​立案と​推進 ・サービスの​重大インシデントの​防止 ・プロジェクトチームと​連携した​品質計測・可視化の​仕組み構築と推進 ・中長期的な​QA組織計画・戦略の​策定と​実行 ・開発部内の​品質改善活動推進・品質保証関連の​新規技術獲得の​推進 ・ベンダーコミュニケーション ※事業や所属部門の状況の変化等により、会社の指示する職務内容へ変更することがある 将来のキャリアパス 当社は一人ひとりの志向や適性を重視して共にキャリアを築くことを目指しており、専門職から管理職、さらには異業種への挑戦まで、多様なキャリアプランを実現することが可能です。 また、介護・障害福祉事業者向けのSaaS、ヘルスケア、シニアライフ、海外事業など、幅広い領域でBtoB/BtoCの事業を展開しており、その数は40を超えます。 そのため、転職せずに多様なビジネスモデルや事業フェーズに挑戦し、自分らしいキャリアを築くことができます。 <キャリアイメージ> ・現場での経験を活かし、特定分野で専門性を高める ・リーダーシップを発揮し、マネジメントスキルを磨く ・異なる領域や職務を経験し、スキルを拡張する ・部門や領域を横断して、事業全体の責任を担う キャリアパスの正解は一つではありません。 あなたが描きたい成長曲線を、私たちと一緒に形にしていきましょう。 配属部署 プロダクト推進本部

株式会社カオナビ

●品質管理/改善に関する業務 └テストプロセス全般の管理、改善。 その上で効率的かつ効果的なテスト手法を確立 └開発エンジニア、PdM、ビジネス部門とも密接に協力し、製品の品質に関する期待やリスクの把握 └各種製品リリースにおけるリスク評価と品質リスクを最小限に抑える戦略を策定 ●リードに関する業務 └エンジニアやプロダクトマネージャー等周囲と連携してのプロダクト全体の品質基準と品質維持プロセスの設計と推進 └上記プロセスの実現のためのメンバー育成計画の立案と推進 └上記プロセスの実現のための各種の制度設計、改善、運用 └QA同士の横の繋がりの強化(エンゲージメント強化)の推進 └目標設定、評価のフィードバック <変更の範囲> 本社及び全てのオフィス、自宅、その他就業場所(会社の許可した就業に適した場所)、出向先・転籍先会社の全てのオフィス 開発環境 開発言語:PHP, Go, JavaScript, TypeScript, Dart フレームワーク:Laravel, Gin, React, Flutter 開発/運用環境:Docker, GoLand, PHPStorm, Swagger, Storybook, Figma, GitLab, GitLab CI, TestCafe 構成管理:Ansible, Terraform, CloudFormation ミドルウェア:MySQL, Apache, Nginx, Redis インフラ環境:AWS (EC2, RDS, ElastiCache, S3, CloudFront, Step Functions, Batch, Lambda, ECS, Fargate, ECR, ...) 監視, モニタリング, 運用ツール:Mackerel, Datadog, PagerDuty, Statuspage 社内ツール:Confluence, Redmine, JIRA, Slack, Zoom その他:Yarn, webpack, Atomic Design, Redux, React Hooks, PHPUnit, Redux Toolkit

株式会社スマレジ

スマレジが提供する各WEBサービスに関する品質管理、及び品質向上をご担当いただきます。 ▼テスト業務 スマレジが提供する各種サービスに関する品質管理、及び品質向上に向けたテスト業務全般(各プロダクトのテスト設計や実行、テスト仕様書の作成やメンテナンス、進捗管理等)を担当していただきます。 リリース後のバグ分析やテストプロセス改善、関連部署との連携等も行います。 ●テスト設計・実装・実行 ●不具合報告・管理・分析 ●リリース後確認・モニタリング ▼リーダー業務 やがては、スマレジが提供する各種サービスの品質管理、及び品質向上に向けてテストスケジュールの立案、そのコントロールを担当いただきます。 また、各種サービスの品質向上、テストプロセス改善等を目的とした各種タスクの管理も行います。 ●テスト計画 ●テスト業務、および各種タスクに対するメンバーアサイン調整 ※従事すべき業務の変更の範囲:会社の定める業務 ※本人の希望を考慮します 技術スタック 【ツール】 Postman, VSCode, Magic Pod 【バージョン管理】 GitLab(マージリクエストベースでレビューを実施) 【コラボレーションツール】 Redmine, Slack, Google Workspace