QAエンジニア・テストエンジニア（テスター）(Kubernetes)の求人・転職情報

当ポジションのミッションは、客観的視点とクライアント/顧客の視点、その両方に立って、品質を測定し、担保することです。 計画〜実施までの一連のテスト業務や、製品の要件定義からの品質管理業務など、プロジェクトの上流から下流までの品質管理を担っていただきます。 <配属先部門紹介> 現在クオリティマネジメントオフィスには、20名弱が在籍しており(業務委託含む)、以下のMission・Vision・Valuesを指針に、日々業務を行っています。 ●Mission 高品質・適正価格の「映像ソリューション」を提供し、あらゆる産業の現場DXを実現する ●Vision 創る組織である「開発本部」において、全開発における品質課題に目を向け、品質文化に根ざした改善活動を行えるようにする ●Values より良い品質にしていくために「品質とは何か」を定義し、開発本部全体に広げる その拡大のためにも日々開発プロセスの改善を行う 品質改善をし続けるために新しい技術やプロセスを取り入れ、1人1人が成長する <詳細の業務内容> プロダクトごとに若干の差異はありますが、開発序盤からプロジェクトに参画し、テスト業務に留まらず、プロダクトの品質ならびにその価値を向上させ、保証できるような活動全般に取り組んでいます。 Webアプリケーションおよびネイティブアプリのテスト計画、設計、実行 上記に対する自動テストの実装 要件定義～リリースまでを含む製品の品質向上施策の策定、シフトレフトの推進 継続的な品質改善を行うための欠陥データ収集、測定、分析、プロダクトへのフィードバック　 開発プロセス全体に関する改善および品質向上施策の推進 ●使っている技術・ツール テスト管理:TestRail、Backlog テスト自動化:MagicPod、Playwright 開発言語:Python、 Java、Go、C++ インフラ:AWS、Kubernetes データベース:MySQL、 Redis、PostgreSQL、DynamoDB 構成管理ツール:Terraform、Ansible 監視:Prometheus、 Grafana、PagerDuty、StatusCake、Sentry、Datadog CI/CD:GitHub Actions その他:GitHub、 Docker、Fluentd、Fluent Bit、Redash、Postman ●開発組織の目標 ・クラウド録画サービスの品質向上 カメラ出荷数30万台を突破し、更なる利用者数の急増に伴い、より高品質・ハイパフォーマンスなサービス基盤の開発・運用を行います。カメラを通してクラウド上に収集した"映像データ"を、必要に応じ配信や解析し、付加価値のある情報を抽出する事によりお客様の課題解決を実現しています。 ・上記クラウド基盤上でのアプリケーション開発 動画の収集/配信システムだけでなく、"映像から未来をつくる"というビジョンを達成すべく、それらの動画を利用した顧客課題の解決に繋がるようなアプリケーションの開発を行っております。様々なアプリケーションを提供していくことでより多くの課題解決を実現して参ります。 ・オープンAPI等による他社参画のためのプラットフォーム開発 上記は自社で行っているアプリケーション開発ですが、映像から解決できる問題は多数あり、且つ、業界業種によっても異なります。この全ての課題を解決するためには弊社一社のみで行うのではなく、オープンなプラットフォームを構築し他の技術を持った企業様が参画することで、顧客解決に繋がるサービスをより多く世に出していき、"映像から未来をつくる"を実現していきます。このように、「我々の基盤上で構築〜展開できるようなプラットフォーム開発」を進めております 従事すべき業務の変更の範囲 <雇入れ直後>サービス運営・営業・サポート、その他これらに付随する一切の業務 <変更の範囲> 会社の定める業務

BucketeerはABEMA発のフィーチャーフラグマネジメント・ABテストシステムで、ABEMAの開発高速化、仮説検証に大きく貢献してきました。 この開発体験と文化をメディア管轄およびCAグループに広めるために組織的に開発生産性向上のスキーム作りや文化醸成にコミットする全社組織Developer Productivity室へ移管を行い、トランクベース開発の文化やフィーチャーフラグ・ABテストといったプラクティスのBucketeerでの実践方法を広くアウトプットしてきました。今後もBucketeerを通じて、フィーチャーフラグ・A/Bテスト・トランクベース開発のベストプラクティスを社内に浸透させていきます。 また、Bucketeerは2022年9月にOSSとして公開されました。OSS化で市場認知を広げ、多くのフィードバックを獲得してさらなるプロダクト強化に繋げたいとか考えています。フィーチャーフラグ・A/Bテスト領域ではまだこれといったデファクトなプロダクトは存在しておらず、その開発手法も広く定着しているとは言い難いところがあります。それ故に、この領域でデファクトを狙えるチャンスが訪れているとも言えます。 今後は、Bucketeerを通してこの開発文化を当たり前に浸透させていくこと、社内SaaSとOSS開発を両立する難しいチャレンジを引き続き行っていきます。このチャンレンジを担う開発メンバーを募集します。 会社概要 1998年の創業以来インターネットを軸に事業を展開し、スマートフォン向けに多数のコミュニティサービスやゲームを提供しているサイバーエージェント。 ブログを中心とした「Ameba」をリリース。 その後、新しい未来のテレビ「ABEMA」を開局し音楽ストリーミングサービス「AWA」や、LDHのコンテンツを楽しめる「CL」、競輪を“若者が楽しめるエンタメ“にすることを目指した「WINTICKET」などインターネット産業の変化にあわせて様々なメディアサービスを提供しています。

ミッション "AI の出力品質を科学する — 評価手法の研究・開発で、エージェントの信頼性を証明する" LLM / AIエージェントの出力品質を、機械学習・統計学・計量心理学の手法で定量的に評価・改善します。本ポジションは「テストする人」ではなく、 「何をもって良いAIとするかを定義し、測定する科学者」 です。 期待する役割について AI Evaluation Scientist として、AI エージェントの品質評価基盤の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 — LLM-as-Judge の校正、報酬モデリング、ベンチマーク設計を通じて「何をもって品質とするか」を科学的に定義します ●自動評価パイプラインの設計・構築 — 研究成果を本番 CI/CD に組み込み、スケーラブルな品質ゲートを実現します ●レッドチーミング・安全性検証 — adversarial testing の自動化、ポリシー準拠検証フレームワークを構築します ●統計的実験計画に基づく品質改善 — A/B テスト・有意差検定でプロンプト戦略やモデル変更の効果を定量的に検証します ●評価シグナルの研究・開発チームへのフィードバック — モデル改善の複利ループを構築します 約 200 社が本番利用するプロダクトの品質を「科学する」アプローチで担保します 業務内容 AI Evaluation Scientistとして、 AIエージェントの評価基盤 (Evaluation Infrastructure) の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 ・LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules) ・評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection) ・報酬モデリング / preference learning の評価への応用研究 ・評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection) ・評価セット (合成データ + 実ログ) の設計・構築・メンテナンス ●自動評価パイプラインの設計・構築 ・スケーラブルな自動評価パイプラインの設計・実装 ・CI/CD への評価パイプライン組込みと品質ゲートの構築 ・エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応) ・評価パイプラインの再現性・信頼性の担保 ●安全性・品質検証 ・自動レッドチーミング (automated adversarial testing) の研究・実装 ・安全性 / ポリシー準拠の検証フレームワーク構築 ・ハルシネーション検出・校正手法の研究・実装 ・プロンプト / ツール回帰テストの設計・実行 ●統計分析・実験設計 ・統計的実験計画 (A/B テスト、有意差検定) の設計・分析 ・品質トレンドの可視化・回帰検出の自動化 ・品質レポート作成と改善提案 ・評価シグナルの研究・開発チームへのフィードバック 業務シナリオ ※以下は想定される業務シナリオの例です ●シナリオ1: LLM-as-Judge の校正と妥当性検証 新しい評価メトリクスとして LLM-as-Judge を導入する際、judge モデルの校正 (calibration) を実施します。人間評価との一致率を統計的に検証し、rubric 設計を反復改善します。construct validity を確認した上で、自動評価パイプラインに組み込み、評価コストを 80% 削減しながら人間評価と同等の信頼性を実現します。 ●シナリオ2: 新モデル導入時の品質ゲート LLMプロバイダーが新モデルをリリースした際、既存のベンチマークスイートで回帰テストを実行し、factualityスコアが3%低下していることを検出します。原因を分析し、プロンプト調整で品質を維持したまま新モデルへの移行を完了します。 ●シナリオ3: 自動レッドチーミングによる安全性検証 金融機関向けにJAPAN AI AGENTを導入する際、自動レッドチーミングパイプラインを構築します。adversarial promptの自動生成・分類器による脆弱性検出を実装し、業界固有のリスクシナリオ(機密情報漏洩、不適切な金融アドバイス等)を網羅的にテストします。ポリシー準拠率99%以上を達成します。 ●従事すべき業務の変更の範囲 会社の定める業務 成果責任 (KR/メトリクス) ●評価カバレッジ率(テストケース網羅率) ●回帰検出率(リリース前の品質劣化検出率 ≥ 95%) ●評価パイプライン実行時間(CI/CD内で完了) ●LLM-as-Judge と人間評価の一致率 ●False Positive / Negative 率 ●安全性インシデント発生率(リリース後) チーム体制 約120名が開発組織に在籍しています。 AI Evaluation Scientistは品質保証の専門チームとして、以下のチームと密接に連携します: ●密接に連携する役割: ・Agentic Product Engineer — エージェント機能開発 ・Research Engineer — 研究開発・モデル改善 ・Agent Harness Engineer / Software Engineer (AI Platform) — AI 実行基盤開発 ・Product Manager — プロダクト設計・品質要件定義 開発環境 ●言語 : Python (評価パイプライン・分析), TypeScript / React / Next.js (フロントエンド部) / NX ●評価 / QA : pytest, LangSmith, Weights & Biases, custom eval frameworks ●データ : BigQuery, Spark, Pandas ●インフラ : GCP (コンテナ / K8s), Docker, Terraform ●CI/CD : GitHub Actions ●ツール : Slack, Confluence, Linear, Google Workspace, GitHub, Notion ●AI 開発支援 : Claude Code MAX Plan, Cursor, ChatGPT, Devin ●作業環境 : Mac (Apple Silicon), デュアルモニタ対応

大規模リアルタイム意思決定システムのソフトウェア開発業務のプロジェクトマネジメント 【具体的には】 1.システム設計支援、ソフトウェア要求分析、設計、製作、艦上での実用試験までの一連の開発 2.次世代システム向け開発及び既存システムの能力向上のための最新技術の調査・適用検討 3.上記ソフトウェア開発業務の取りまとめ業務、チームマネジメント 【変更の範囲】 会社の定める業務(※) (※)業務の都合によっては会社外の職務に従事するため出向又は転属を命じることがあります。 ●使用言語、環境、ツール、資格等 【OS】Linux、Windows 【言語】C/C++、C#、VBA 【開発ツール】 GitLab、Jenkins、Docker/Podman/Kubernetesなど各種OSSツール

●配属予定チーム・体制 ・入社後はまず客先常駐からのスタートを想定 入社当初の配属先はお客様先のプロジェクトです。 そのため、CI/CD基盤や技術スタックの選定、開発プロセスの改廃について、最終的な決裁権がお客様側にある場合があります。 並行して自社内での受託・ラボ型案件の新規開拓を進めており、体制が整い次第そちらへの展開も想定していますが、着任時点で配属をお約束できるものではありません。 ・自動化の社内標準を整備 共通ライブラリ、テスト設計ガイドライン、フレームワーク選定基準といった組織としての資産を整備します。 参照できる前例が少ない中で、自ら判断して形にしていく必要があります。 ・生成AI活用の社内標準化を推進 生成AIのテスト業務への活用は、配属プロジェクト単位では実績があり、お客様からのご相談も増えています。 一方で社内標準としての整備はこれからです。 適用範囲の見極め、実用性の評価、適用基準の策定までを担っていただきます。 ・制約のある環境での実現力を重視 常駐先ごとに使用技術も開発プロセスも異なります。 理想形をそのまま持ち込むのではなく、その現場で実行可能な打ち手に翻訳できることを、本ポジションの中核的な能力と位置づけています。 ●業務内容 ●配属プロジェクトでのテスト自動化の実装・改善 ・仕様・要件からのテストケース導出と、コードベースでのテスト実装 ・CI/CDパイプライン(GitHub Actions等)と連携した自動テストの組み込み・運用改善 ・Flaky Testの原因分析と、待機処理・テスト設計の見直しによる安定化 ・既存のテスト運用プロセスに対する課題抽出と改善提案 ●自動化ノウハウの標準化・組織資産化 ・プロジェクトを跨いで再利用できる共通ライブラリ・テンプレートの設計と整備 ・フレームワーク選定基準、テスト設計ガイドラインの策定 ・個人に蓄積されている実装ノウハウの言語化・ドキュメント化 ・SQA部門メンバーへの技術共有・コードレビュー ●生成AIを活用した自動化の推進・標準化 ・生成AIによるテストケース生成・テストコード生成の実装と、実用性の評価 ・既存のテスト仕様書・手順書から自動化対象を抽出し、テストコードへ変換する仕組みづくり ・画面変更への追従やFlaky Test対応など、テストコード保守工程へのAI活用 ・AIエージェントによるテスト実行(Agentic Testing)関連ツールの調査・適用可否の判断 ・活用ノウハウの適用基準への落とし込みと、2の社内標準への組み込み ※配属プロジェクトでの活用実績はありますが、社内標準としての整備はこれから着手する段階です。 ●技術環境 ※すべての経験は必要ありません。 プロジェクトにより使用技術・活用範囲は異なります。 テストフレームワーク :Playwright, Selenium, Appium 等(プロジェクトにより採用状況は異なり、全社標準は未確定です) 開発言語 :Python, Java, JavaScript, TypeScript 等 インフラ・CI/CD :GitHub Actions, Docker, Kubernetes 等 生成AI・LLM活用 :LLM API、生成AIコーディング支援ツール、RAG、Agentic Testing関連ツール 等 (テストケース生成、テストコード生成・保守、ログ解析等に活用。 プロジェクトにより適用範囲は異なります) ●従事すべき業務の変更の範囲 →変更の範囲　会社の定める業務

自社プロダクト・サービスを更に進化させるため、QAエンジニアとしてテスト自動化を主軸とした開発の生産性最大化を担い、プロダクトの品質向上をお任せします。 ●主な業務 ・製品の品質課題の抽出、仕様等へのレビューや開発プロセスに対する改善提案 ・製品開発におけるテスト設計から実行、自動テストの実装 ・要件定義からリリースまでを含む製品の品質向上施策の策定 ・リリース後の品質モニタリング ・不具合内容やユーザからのフィードバックを分析して課題を抽出 自社プロダクト・サービスの品質を守るエンジニアとして、技術を発揮し活躍できる環境です。

自社プロダクト・サービスを更に進化させるために必要なテスト自動化を主軸とした開発の生産性最大化を担い、プロダクトの品質向上をお任せします。 また、パフォーマンス向上のため、本役割組織の推進、メンバーの目標管理、指導・育成等のチームマネジメント業務をお任せします。 ●主な業務 ・製品の品質課題の抽出、仕様等へのレビューや開発プロセスに対する改善提案 ・製品開発におけるテスト設計から実行、自動テストの実装 ・要件定義からリリースまでを含む製品の品質向上施策の策定 ・リリース後の品質モニタリング ・不具合内容やユーザからのフィードバックを分析して課題を抽出 ・チームメンバーの指導、育成、フォロー 自社プロダクト・サービスの品質を守るエンジニアとして、技術を発揮し活躍できる環境です。