QAエンジニア・テストエンジニア（テスター）(BigQuery)の求人・転職情報

エムスリー株式会社

●ミッション 日本最大の医療従事者向けポータルサイトでの新サービス開発、既存サービス改善、社内システム開発における品質保証活動をリードし、最先端のIT技術を使って日本の医療現場を変革する。ソフトウェアエンジニアと協力して、高品質なプロダクトを素早く利用者に提供する。 ●担当事業・プロダクト 社内には多くの事業、サービスがあります。以下に一例を挙げます。 ・医療従事者向けメディア m3.com ・製薬企業のプロモーション支援サービス MR君 ・国内シェアNo. 1のクラウド電子カルテ エムスリーデジカル ・医療施設向け予約〜会計までできる総合サービス デジカルスマート診療 ・コンシューマ向けの健康相談サービス Askdoctors ・グローバル向けプロダクト ●担当業務 PCサイト、スマートフォンサイト、iOS/Androidアプリにおける品質保証活動を主導していただきます。 ・仕様、ワイヤーフレームのレビュー ・テストマネジメント(テスト計画、テストの見積もり、進捗管理、欠陥マネジメント) ・テスト設計、テスト実施、品質評価 ・リリース時の最終確認(工程漏れの確認、リリース後の本番動作確認など) ・テストプロセスや開発プロセス改善のリード ・他QAエンジニアの成長への貢献(カンファレンスの内容を共有、勉強会の開催など) ・自動テストの推進 ・その他サービスへの貢献(必要に応じてプロジェクトマネジメントや施策の起案をすることも可能) ●技術スタック ・テストケース管理: TestRail ・チャットツール: Slack ・ソースコード管理: GitLab ・チケット管理: JIRA / Redmine ・CIツール: GitLab CI / Jenkins ・その他: Confluence / Sentry / PostgreSQL / BigQuery / GCP / AWS ・自動テストツール: Selenium Webdriver / Playwright / mabl ●チーム体制 ・QAチームはテスターの方も含め約40名 ・QAメンバー間のつながりを利用し、各サービスの障害情報、プロセス改善事項の共有 ・自動テスト推進チームなど改善活動を推進する個別のタスクフォースの運営 ・各メンバーは担当サービスのメンバーとして各事業開発チームにアサインされます。 ・品質に理解のあるエンジニアが多く、チーム全体で品質改善に取り組んでいるチーム ・小規模な改修を繰返し行い週1回以上リリースする(新規サービス開発など例外あり) ・プロダクトマネージャ以外の職種もプロダクトをより良くするため活発な議論を行う ●働き方 各メンバーは、組織横断のQAチームに所属しつつ、担当サービスの事業開発チームにもアサインされます。担当サービスの性質に合わせ最適なQA活動を主導しています。 上記と並行して、横断チームであるQAチームの横の繋がりを活用し、担当サービスで得た経験の共有を行うなど全体での改善も合わせて行っています。 <入社時>上記に記載の業務 <変更の範囲>会社の定める業務、就業規則に従い出向となった場合は出向先の定める業務

JAPAN AI株式会社

ミッション "AI の出力品質を科学する — 評価手法の研究・開発で、エージェントの信頼性を証明する" LLM / AIエージェントの出力品質を、機械学習・統計学・計量心理学の手法で定量的に評価・改善します。本ポジションは「テストする人」ではなく、 「何をもって良いAIとするかを定義し、測定する科学者」 です。 期待する役割について AI Evaluation Scientist として、AI エージェントの品質評価基盤の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 — LLM-as-Judge の校正、報酬モデリング、ベンチマーク設計を通じて「何をもって品質とするか」を科学的に定義します ●自動評価パイプラインの設計・構築 — 研究成果を本番 CI/CD に組み込み、スケーラブルな品質ゲートを実現します ●レッドチーミング・安全性検証 — adversarial testing の自動化、ポリシー準拠検証フレームワークを構築します ●統計的実験計画に基づく品質改善 — A/B テスト・有意差検定でプロンプト戦略やモデル変更の効果を定量的に検証します ●評価シグナルの研究・開発チームへのフィードバック — モデル改善の複利ループを構築します 約 200 社が本番利用するプロダクトの品質を「科学する」アプローチで担保します 業務内容 AI Evaluation Scientistとして、 AIエージェントの評価基盤 (Evaluation Infrastructure) の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 ・LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules) ・評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection) ・報酬モデリング / preference learning の評価への応用研究 ・評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection) ・評価セット (合成データ + 実ログ) の設計・構築・メンテナンス ●自動評価パイプラインの設計・構築 ・スケーラブルな自動評価パイプラインの設計・実装 ・CI/CD への評価パイプライン組込みと品質ゲートの構築 ・エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応) ・評価パイプラインの再現性・信頼性の担保 ●安全性・品質検証 ・自動レッドチーミング (automated adversarial testing) の研究・実装 ・安全性 / ポリシー準拠の検証フレームワーク構築 ・ハルシネーション検出・校正手法の研究・実装 ・プロンプト / ツール回帰テストの設計・実行 ●統計分析・実験設計 ・統計的実験計画 (A/B テスト、有意差検定) の設計・分析 ・品質トレンドの可視化・回帰検出の自動化 ・品質レポート作成と改善提案 ・評価シグナルの研究・開発チームへのフィードバック 業務シナリオ ※以下は想定される業務シナリオの例です ●シナリオ1: LLM-as-Judge の校正と妥当性検証 新しい評価メトリクスとして LLM-as-Judge を導入する際、judge モデルの校正 (calibration) を実施します。人間評価との一致率を統計的に検証し、rubric 設計を反復改善します。construct validity を確認した上で、自動評価パイプラインに組み込み、評価コストを 80% 削減しながら人間評価と同等の信頼性を実現します。 ●シナリオ2: 新モデル導入時の品質ゲート LLMプロバイダーが新モデルをリリースした際、既存のベンチマークスイートで回帰テストを実行し、factualityスコアが3%低下していることを検出します。原因を分析し、プロンプト調整で品質を維持したまま新モデルへの移行を完了します。 ●シナリオ3: 自動レッドチーミングによる安全性検証 金融機関向けにJAPAN AI AGENTを導入する際、自動レッドチーミングパイプラインを構築します。adversarial promptの自動生成・分類器による脆弱性検出を実装し、業界固有のリスクシナリオ(機密情報漏洩、不適切な金融アドバイス等)を網羅的にテストします。ポリシー準拠率99%以上を達成します。 ●従事すべき業務の変更の範囲 会社の定める業務 成果責任 (KR/メトリクス) ●評価カバレッジ率(テストケース網羅率) ●回帰検出率(リリース前の品質劣化検出率 ≥ 95%) ●評価パイプライン実行時間(CI/CD内で完了) ●LLM-as-Judge と人間評価の一致率 ●False Positive / Negative 率 ●安全性インシデント発生率(リリース後) チーム体制 約120名が開発組織に在籍しています。 AI Evaluation Scientistは品質保証の専門チームとして、以下のチームと密接に連携します: ●密接に連携する役割: ・Agentic Product Engineer — エージェント機能開発 ・Research Engineer — 研究開発・モデル改善 ・Agent Harness Engineer / Software Engineer (AI Platform) — AI 実行基盤開発 ・Product Manager — プロダクト設計・品質要件定義 開発環境 ●言語 : Python (評価パイプライン・分析), TypeScript / React / Next.js (フロントエンド部) / NX ●評価 / QA : pytest, LangSmith, Weights & Biases, custom eval frameworks ●データ : BigQuery, Spark, Pandas ●インフラ : GCP (コンテナ / K8s), Docker, Terraform ●CI/CD : GitHub Actions ●ツール : Slack, Confluence, Linear, Google Workspace, GitHub, Notion ●AI 開発支援 : Claude Code MAX Plan, Cursor, ChatGPT, Devin ●作業環境 : Mac (Apple Silicon), デュアルモニタ対応

GO株式会社

仕事概要 タクシー配車サービス『GO』の実現に欠かせない車載アプリ(タクシー車内で動いているAndroidアプリ)の開発と継続的な改善をします。 GO Inc.は技術力を強みとしていますが、技術そのものを目的とした会社ではなくプロダクトに向き合うことを大切にしています。 ユーザーの課題やニーズを理解し、より良い体験を追求しながら開発を進めていきます。 今後はタクシー配車にとどまらず、社会課題解決に向けてより複雑なシステムを含めたモビリティプラットフォームを作り上げていきます。 [「日本の"移動"を止めない」──GO IoT本部が挑む、車載システムの統合と品質の裏側](https://go-on.goinc.jp/n/n03b4732753f9?gs=29fb937a7559) 業務内容 タクシー車両内で動く車載システムがあります。 車載システムは、Androidアプリがいくつかの機器と連携して動くことで機能を実現しています。車載システムは次世代のモビリティ体験を支える新規開発が継続しています。 本ポジションでは、従来のアプリ単体のテストにとどまらず、ハードウェア・ソフトウェアが連携する車載システムの品質向上に向けたテストエンジニアリングをリードしていただきます。不具合の検出だけではなく、開発初期から「品質を作り込む」ための計画づくりと実行がミッションです 解決したい課題 ●ハードウェアエンジニア、ソフトウェアエンジニア、QA、PdMなど各専門領域の知見を統合して品質を作り込むプロセスの構築 ●CI基盤と運用フローの構築・改善 ●テスト自動化によるリリースサイクル低下の防止と向上 開発環境 プログラミング言語 :Kotlin, TypeScript, SQL ライブラリ類等 :Android Jetpack, Kotlin coroutines, Appium, Firebase, GCP, BigQuery, etc. CI/CD :Github Actions、Bitrise 所属組織 ソフトウェアエンジニア4名のチームです。カンバンでタスクの状況を把握できるようにしています。コミュニケーションはSlackとGoogle Meetを使っています。 2名がテストエンジニアとして業務をしています。残りの2名はAndroidアプリエンジニアで内部品質の向上を担っています。

JAPAN AI株式会社

ミッション ソフトウェアエンジニアリングとAIを駆使して、テストの自動化とテストケースのライフサイクル全体の質を高め、プロダクト品質とリリース速度を両立させる現在、QA業務のうち約50〜60%はすでに自動化されており、基盤としては一定の水準に達しています。このポジションで問われるのは自動化率を積み増すことだけでなく、未自動化領域の自動化・既存テストの品質改善・テストケースのライフサイクル管理を仕組み化し、改善が自走するサイクルを作ることです。 期待する役割について テストの自動化・既存テストの品質改善・テストケースのライフサイクル運用の3方向をリードし、AIを活用しながらQAプロセス全体が継続的に良くなる仕組みを構築・運用していただきます。 ・自動化できていない領域を見極め、優先度をつけて自動化する ・既存の自動化されたテストの品質(網羅性・保守性・シグナルの信頼性)を継続的に改善する ・テストケースのライフサイクル(作成・実行・評価・棚卸し・廃止)を設計し、改善が回る仕組みを構築・運用する ・AI/LLMを用いたテストケース生成・改善エージェントを構築する ・品質課題をプロダクトチームにフィードバックし、エンジニア/ビジネス/CSとの橋渡しを行う ・約400社が本番利用するプロダクトの品質を、自動化・品質改善・仕組み運用の3方向から担保する 業務内容 ●未自動化領域の自動化 ・自動化できていない箇所を洗い出し、優先度をつけて自動化する ・AI/LLMを活用したテストケース生成エージェントの構築 ・CI/CDへの自動テスト組み込み・回帰テストの整備 ●既存テストの品質改善 ・既存テストケースの品質(重複・カバレッジ・保守コスト・シグナルの信頼性)を精査し、改善する ・Flakyテストの検知・修正、形骸化したテストの棚卸し ・テスト設計・品質基準の策定、良いテストケースの記述 ●テストケースのライフサイクル設計・運用 ・テストケースの作成〜実行〜評価〜棚卸し〜廃止までのライフサイクルを設計する ・改善が継続的に回る仕組み(レビュー体制・メトリクス・運用フロー)を構築・運用する ・JAPAN AI STUDIOを活用したQA・テスト業務の仕組み化 ・品質課題をプロダクトチームにフィードバックし、エンジニア/ビジネス/CS/非エンジニアとの橋渡しを行う チーム体制 約150名が開発組織に在籍しています。 密接に連携する役割: ・Agentic Product Engineer — エージェント機能開発 ・Research Engineer — 研究開発・モデル改善 ・Agent Harness Engineer / Software Engineer (AI Platform) — AI 実行基盤開発 ・Product Manager — プロダクト設計・品質要件定義 開発環境 言語 : Python (評価パイプライン・分析), TypeScript / React / Next.js (フロントエンド部) / NX 評価 / QA : pytest, LangSmith, Weights & Biases, custom eval frameworks データ : BigQuery, Spark, Pandas インフラ : GCP (コンテナ / K8s), Docker, Terraform CI/CD : GitHub Actions ツール : Slack, Confluence, Linear, Google Workspace, GitHub, Notion AI 開発支援 : Claude Code MAX Plan, Cursor, ChatGPT, Devin 作業環境 : Mac (Apple Silicon), デュアルモニタ対応 従事すべき業務の変更の範囲 会社の定める業務

株式会社カカクコム

QA業務をAIエージェントが自律実行できるハーネスを設計・実装します。 【具体的な業務内容】 ・ハーネスエンジニアリングの実践 └ハーネスエンジニアリングの枠組みの中で、QA業務を担う各工程のAIエージェントを設計、構築します。 ・リスク分析/テスト分析/テスト設計エージェント └仕様書を分析し、その後の実装や自動テストコーディングへの入力を生成するQAの上流工程を担当するAIエージェントを設計、実装します。 ・自動テストコーディング、自動テスト実行エージェント └テスト設計結果を自動テストとして実装し実行するQA業務の中核となるAIエージェントを設計実装します。 ・CQフィードバックパイプラインの設計・実装 ・不具合/障害情報の集積、分析基盤の構築 └エラーログ/AIエージェント実行ログ/不具合レポート/障害レポートなどを集積し、後続の分析や再発防止策の策定を実施するための基盤を整備します。 ・障害分析や再発防止策実施エージェントの設計、実装 └AIや人間のミスの結果である障害情報を分析し、それらをAIエージェントから利用可能なコンテキストやSKILLの形に実装するAIエージェントの設計、実装をします。 ・外部AI動向の追跡と発信 ・Harness Engineering等のAI分野の最新動向を追跡し、業務設計に落とし込む ・社内の実践と学びを技術ブログ・カンファレンス等で外部発信する 【開発環境】 ●AIエージェント:Claude Code(SKILL / Sub-agent / Hooks / Agent Teams)/ Devin / MCP Server ●テスト自動化:Selenium, Appium, Cucumber, Playwright ●CI/CD:CircleCI, Bitrise ●データ基盤:BigQuery, Tableau ●タスク管理・分析:Asana ●コミュニケーション:Slack, Teams, GitHub, Confluence, Miro ●開発技術スタック:Ruby on Rails, React.js, Next.js, Swift/SwiftUI, Kotlin 【所属部門】 食べログカンパニー 開発本部 品質管理部 【ミッション】 品質管理部は「QA業務をAIが一貫して担う」ことを目指す長期ビジョン Continuous Quality by AI(CQ by AI) を推進するチームです。 そのAIが正しく品質を判断できるよう、QAの知識と基準をAIに渡すエキスパートとして参画していただきます。 単にテストを効率化するのではなく、「リリース前のチェックポイント」だったQAを、開発プロセスそのものに埋め込まれた自律的な仕組みへと変える取り組みです。 月間数千万人が使う食べログで、AIエージェントがコードレビュー・リスク分析・E2Eテストを担い、最終承認のみ人間が行う品質保証の実現を目指しています。 すでに自動テストコーディングでコード生成精度97%・テスト実行工数52%削減・自動化率64%の実績を上げており、その先のフェーズを共に作る段階にあります。 このポジションは AIが正しく品質判断できるようにQAドメインのナレッジをハーネスエンジニアリングの枠組みの中でガードレールやチェックリスト、基準などとして整備する役割 です。 従来のQAエンジニアが「自分でテストを設計・実行し、品質を判断する」のに対し、このポジションは「AIが判断するための基準を設計・検証し、AIの判断結果をレビューする」へと役割が変わります。 QAエンジニアとしての専門知識を活かしながら、業界でもまだ先例の少ない「AIに品質を教える仕事」を担っていただきます。