品質コンサルタント・QAマネージャー(TypeScript)の求人・転職情報

JAPAN AI株式会社

ミッション "AI の出力品質を科学する — 評価手法の研究・開発で、エージェントの信頼性を証明する" LLM / AIエージェントの出力品質を、機械学習・統計学・計量心理学の手法で定量的に評価・改善します。本ポジションは「テストする人」ではなく、 「何をもって良いAIとするかを定義し、測定する科学者」 です。 期待する役割について AI Evaluation Scientist として、AI エージェントの品質評価基盤の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 — LLM-as-Judge の校正、報酬モデリング、ベンチマーク設計を通じて「何をもって品質とするか」を科学的に定義します ●自動評価パイプラインの設計・構築 — 研究成果を本番 CI/CD に組み込み、スケーラブルな品質ゲートを実現します ●レッドチーミング・安全性検証 — adversarial testing の自動化、ポリシー準拠検証フレームワークを構築します ●統計的実験計画に基づく品質改善 — A/B テスト・有意差検定でプロンプト戦略やモデル変更の効果を定量的に検証します ●評価シグナルの研究・開発チームへのフィードバック — モデル改善の複利ループを構築します 約 200 社が本番利用するプロダクトの品質を「科学する」アプローチで担保します 業務内容 AI Evaluation Scientistとして、 AIエージェントの評価基盤 (Evaluation Infrastructure) の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 ・LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules) ・評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection) ・報酬モデリング / preference learning の評価への応用研究 ・評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection) ・評価セット (合成データ + 実ログ) の設計・構築・メンテナンス ●自動評価パイプラインの設計・構築 ・スケーラブルな自動評価パイプラインの設計・実装 ・CI/CD への評価パイプライン組込みと品質ゲートの構築 ・エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応) ・評価パイプラインの再現性・信頼性の担保 ●安全性・品質検証 ・自動レッドチーミング (automated adversarial testing) の研究・実装 ・安全性 / ポリシー準拠の検証フレームワーク構築 ・ハルシネーション検出・校正手法の研究・実装 ・プロンプト / ツール回帰テストの設計・実行 ●統計分析・実験設計 ・統計的実験計画 (A/B テスト、有意差検定) の設計・分析 ・品質トレンドの可視化・回帰検出の自動化 ・品質レポート作成と改善提案 ・評価シグナルの研究・開発チームへのフィードバック 業務シナリオ ※以下は想定される業務シナリオの例です ●シナリオ1: LLM-as-Judge の校正と妥当性検証 新しい評価メトリクスとして LLM-as-Judge を導入する際、judge モデルの校正 (calibration) を実施します。人間評価との一致率を統計的に検証し、rubric 設計を反復改善します。construct validity を確認した上で、自動評価パイプラインに組み込み、評価コストを 80% 削減しながら人間評価と同等の信頼性を実現します。 ●シナリオ2: 新モデル導入時の品質ゲート LLMプロバイダーが新モデルをリリースした際、既存のベンチマークスイートで回帰テストを実行し、factualityスコアが3%低下していることを検出します。原因を分析し、プロンプト調整で品質を維持したまま新モデルへの移行を完了します。 ●シナリオ3: 自動レッドチーミングによる安全性検証 金融機関向けにJAPAN AI AGENTを導入する際、自動レッドチーミングパイプラインを構築します。adversarial promptの自動生成・分類器による脆弱性検出を実装し、業界固有のリスクシナリオ(機密情報漏洩、不適切な金融アドバイス等)を網羅的にテストします。ポリシー準拠率99%以上を達成します。 ●従事すべき業務の変更の範囲 会社の定める業務 成果責任 (KR/メトリクス) ●評価カバレッジ率(テストケース網羅率) ●回帰検出率(リリース前の品質劣化検出率 ≥ 95%) ●評価パイプライン実行時間(CI/CD内で完了) ●LLM-as-Judge と人間評価の一致率 ●False Positive / Negative 率 ●安全性インシデント発生率(リリース後) チーム体制 約120名が開発組織に在籍しています。 AI Evaluation Scientistは品質保証の専門チームとして、以下のチームと密接に連携します: ●密接に連携する役割: ・Agentic Product Engineer — エージェント機能開発 ・Research Engineer — 研究開発・モデル改善 ・Agent Harness Engineer / Software Engineer (AI Platform) — AI 実行基盤開発 ・Product Manager — プロダクト設計・品質要件定義 開発環境 ●言語 : Python (評価パイプライン・分析), TypeScript / React / Next.js (フロントエンド部) / NX ●評価 / QA : pytest, LangSmith, Weights & Biases, custom eval frameworks ●データ : BigQuery, Spark, Pandas ●インフラ : GCP (コンテナ / K8s), Docker, Terraform ●CI/CD : GitHub Actions ●ツール : Slack, Confluence, Linear, Google Workspace, GitHub, Notion ●AI 開発支援 : Claude Code MAX Plan, Cursor, ChatGPT, Devin ●作業環境 : Mac (Apple Silicon), デュアルモニタ対応

テックタッチ株式会社

【プロダクト】 テックタッチ(既存プロダクト × 生成AI組み込み) システム導入だけで終わらせない、利活用のためのDXを推進するAI型デジタルアダプションプラットフォーム(DAP)「テックタッチ」。 あらゆるWebシステムの画面上に、操作ガイドやナビゲーションを表示させることで、すべてのユーザーが迷わず・間違わずにシステムを使いこなすことができる世界を目指すプロダクトです。 すでに多くの企業で利用されている本プロダクトに、生成AI機能を組み込む開発が進行中です。 既存プロダクトへのAI組み込みには、新規開発とは異なる難しさがあります 既存ユーザーの業務に影響を与えないよう、AIの出力品質を担保する必要がある 確立された品質基準に、AI特有の「確率的・非決定論的な振る舞い」の評価観点を追加していく 予測困難なAIの出力が、既存機能やユーザー体験と整合するかを検証する こうした課題に対応するため、AI精度評価の仕組みを構築していくフェーズにあります。 ★テックタッチの技術力と信頼 操作ガイドやナビゲーションをノーコードで作成することができる(開発部門を介さないユーザーの体験改善を実現) システムの特性やクライアントごとのルールに応じた設定/メンテナンスを簡単にした技術力 エンタープライズ企業を中心に、SaaS企業や自治体など、幅広い顧客への導入実績 新規プロダクト・その他 上記以外にも、立ち上げ初期の新規プロダクトや、AI/生成AIを活用した機能開発が複数進行中です。 詳細は選考時にお伝えします。 【主な業務内容】 プロダクト横断で、全社のAI精度評価の基準・プロセスを整備していきます。 1.プロンプト・設定の最適化(AI Accuracy) 「AIが賢く、期待通りの回答をすること」を追求します。 全社共通の評価フレームワークを構築し、各プロダクトに適用します。 評価基準の策定 プロンプトエンジニアリング 評価データセットの構築 2.品質保証プロセスの構築(Process & Strategy) 開発ライフサイクル全体におけるAI品質保証の「仕組み」と「ロードマップ」を策定し、各プロダクトチームへ展開します。 シフトレフト/シフトライトの実践 フィードバックループの構築 ロードマップ策定 3.全社横断での標準化推進 評価ガイドラインの策定 ナレッジ共有 評価基盤の整備

株式会社パトスロゴス

業務内容 当社のHR共創プラットフォームと連動する大手企業向けの人事・給与システム「Combosite」の品質管理・品質評価をリードいただきます。 ・プロジェクト管理、プロダクトの品質改善 ・品質に関わるプロセス改善提案 ・テスト計画の設計、評価分析 ・品質数値目標管理、プロジェクト予実管理など 当社のプロダクトは大手法人が利用するバックオフィス向けの機能であり、高品質であることが求められます。 これまで金融機関をメインに担当するシステムコンサルティング会社の協力を得て、非常に強固な開発体制のもと、開発を進めてきました。今後も協力を得ながら開発を進めていく一方で、当社における品質管理をリードできるようなエンジニアの募集を進めております。

株式会社カオナビ

●品質管理/改善に関する業務 └テストプロセス全般の管理、改善。 その上で効率的かつ効果的なテスト手法を確立 └開発エンジニア、PdM、ビジネス部門とも密接に協力し、製品の品質に関する期待やリスクの把握 └各種製品リリースにおけるリスク評価と品質リスクを最小限に抑える戦略を策定 ●リードに関する業務 └エンジニアやプロダクトマネージャー等周囲と連携してのプロダクト全体の品質基準と品質維持プロセスの設計と推進 └上記プロセスの実現のためのメンバー育成計画の立案と推進 └上記プロセスの実現のための各種の制度設計、改善、運用 └QA同士の横の繋がりの強化(エンゲージメント強化)の推進 └目標設定、評価のフィードバック <変更の範囲> 本社及び全てのオフィス、自宅、その他就業場所(会社の許可した就業に適した場所)、出向先・転籍先会社の全てのオフィス 開発環境 開発言語:PHP, Go, JavaScript, TypeScript, Dart フレームワーク:Laravel, Gin, React, Flutter 開発/運用環境:Docker, GoLand, PHPStorm, Swagger, Storybook, Figma, GitLab, GitLab CI, TestCafe 構成管理:Ansible, Terraform, CloudFormation ミドルウェア:MySQL, Apache, Nginx, Redis インフラ環境:AWS (EC2, RDS, ElastiCache, S3, CloudFront, Step Functions, Batch, Lambda, ECS, Fargate, ECR, ...) 監視, モニタリング, 運用ツール:Mackerel, Datadog, PagerDuty, Statuspage 社内ツール:Confluence, Redmine, JIRA, Slack, Zoom その他:Yarn, webpack, Atomic Design, Redux, React Hooks, PHPUnit, Redux Toolkit

INTLOOP株式会社

業務概要 業界を問わず、要件定義、設計、実装、テストといった開発各工程の技術分野を担っていただきます。 ご経験次第では、弊社ラインマネジメントも含むプレイングマネージャーとしてご活躍いただきたく考えております。 職種としては下記の様な業務系SE/クラウド/QAコンサルタントといった枠でご案内いたします。 上流工程やプロジェクト推進(PM/PL)を担える方には、ご経験とご希望に応じて要件定義〜推進・品質管理までをリードいただく役割も想定しています。 ※その後、ご経験に合わせて「IT Director/IT Architect/SE/PG」に振り分け、業務をお任せします。 IT Directorの定義:システム構築にあたり採用する技術を選定し指針を定め推進することができるスキルを持つ人 IT Architectの定義: システム構築にあたり効率性あるいは発展性を担保するにはどういう設計にしたら良いか考え推進することができるスキルを持つ人 ・システム全体に関する設計やディレクション ・アプリ設計やAPI設計 ・プログラム実装(オブジェクト指向世代以降の各種言語) ・クラウドインフラ設計 ・インフラ構築(IaC等) ・ミドルウェアパッケージ展開および構築 ・各種テスト推進 ・その他諸々の関連作業、リーダーとしてのとりまとめ、など 職務詳細 下記のような職種/プロジェクト例がございます。 業務系システムエンジニアの場合 ●販売管理システム刷新に伴うシステム領域の要件定義支援 マネジメント業務領域のToBe業務に基づくシステム機能設計、システム要件及び機能設計の支援 併せてそれに付随するインターフェース・データ基盤の設計とマスターへの落とし込みの支援 ●クレジットカード決済システム開発業務支援 社内業務システムの新規/保守開発プロジェクトにおけるエンドユーザ支援 ユーザサイドに立った、要件定義/運用構築等の支援や開発ベンダー管理/社内調整等のコミュニケーション管理を支援 クラウドエンジニアの場合 ●製造業におけるIoTプラットフォーム事業推進支援 IoTプラットフォームを稼働させるクラウド基盤の構築検討支援 業務要件定義やクラウドの選定から構築までを一貫して支援 ●オンプレ環境からAWSへの移行支援 現行のオンプレ環境での機能調査・要件調整とAWS移行後の適応試験の支援 AWS移行においては、移行計画の策定から基盤構築までを一貫して支援 QAコンサルタントの場合 ●テスト業務全般支援 テスト計画から設計、実施、結果検証レポートの作成、報告 テスト自動実行ツールの実行準備と結果検証、専用設計書の作成、ツールの実行結果検証 上記プロジェクト推進のための管理ポジションとしてPMの枠もございます。

株式会社ディーバ

連結決算・開示のプロダクト(自社製品)の企画・開発・機能改善を行うプロダクト開発本部に所属の上、品質管理スペシャリストとして、オンプレミスからSaaSに進化させるプロダクト品質基準の見直し、再設計、推進・改善を担い、製品開発エンジニアと共に“ものづくり”に携わっていただきます。 ※具体的な取り組みとしては、世界基準の品質特性(ISO/IEC25010)を採用した品質管理体制を目指してまいります。 これまでの品質管理体制の現状を踏まえ、まずは簡易プロセスを導入し、その上でリリース基準づくり、フェーズ毎の判断導入、第三者テストの強化、出荷判定の判断基準強化、トラブル時の基準導入と、徐々に進化させていく予定です。 機能改善:BPOで得たノウハウや会計ルール改正を仕組みや既存製品に反映 機能拡大:業務の自動化に繋がるシステムや新製品の開発 サービス向上:オンプレ→クラウド化などを推進して顧客の利便性を高める 開発環境 言語 : C# / Go / Java / TypeScript (Angular) インフラ : AWS / オンプレミス (Windows Server) データベース : Oracle / SQL Server / PostgreSQL ミドルウェア : Terraform / PowerShell / New Relic