生成AI開発ツール導入 SparkのITエンジニア求人・転職情報

JAPAN AI株式会社

ミッション "AI の出力品質を科学する — 評価手法の研究・開発で、エージェントの信頼性を証明する" LLM / AIエージェントの出力品質を、機械学習・統計学・計量心理学の手法で定量的に評価・改善します。本ポジションは「テストする人」ではなく、 「何をもって良いAIとするかを定義し、測定する科学者」 です。 期待する役割について AI Evaluation Scientist として、AI エージェントの品質評価基盤の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 — LLM-as-Judge の校正、報酬モデリング、ベンチマーク設計を通じて「何をもって品質とするか」を科学的に定義します ●自動評価パイプラインの設計・構築 — 研究成果を本番 CI/CD に組み込み、スケーラブルな品質ゲートを実現します ●レッドチーミング・安全性検証 — adversarial testing の自動化、ポリシー準拠検証フレームワークを構築します ●統計的実験計画に基づく品質改善 — A/B テスト・有意差検定でプロンプト戦略やモデル変更の効果を定量的に検証します ●評価シグナルの研究・開発チームへのフィードバック — モデル改善の複利ループを構築します 約 200 社が本番利用するプロダクトの品質を「科学する」アプローチで担保します 業務内容 AI Evaluation Scientistとして、 AIエージェントの評価基盤 (Evaluation Infrastructure) の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 ・LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules) ・評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection) ・報酬モデリング / preference learning の評価への応用研究 ・評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection) ・評価セット (合成データ + 実ログ) の設計・構築・メンテナンス ●自動評価パイプラインの設計・構築 ・スケーラブルな自動評価パイプラインの設計・実装 ・CI/CD への評価パイプライン組込みと品質ゲートの構築 ・エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応) ・評価パイプラインの再現性・信頼性の担保 ●安全性・品質検証 ・自動レッドチーミング (automated adversarial testing) の研究・実装 ・安全性 / ポリシー準拠の検証フレームワーク構築 ・ハルシネーション検出・校正手法の研究・実装 ・プロンプト / ツール回帰テストの設計・実行 ●統計分析・実験設計 ・統計的実験計画 (A/B テスト、有意差検定) の設計・分析 ・品質トレンドの可視化・回帰検出の自動化 ・品質レポート作成と改善提案 ・評価シグナルの研究・開発チームへのフィードバック 業務シナリオ ※以下は想定される業務シナリオの例です ●シナリオ1: LLM-as-Judge の校正と妥当性検証 新しい評価メトリクスとして LLM-as-Judge を導入する際、judge モデルの校正 (calibration) を実施します。人間評価との一致率を統計的に検証し、rubric 設計を反復改善します。construct validity を確認した上で、自動評価パイプラインに組み込み、評価コストを 80% 削減しながら人間評価と同等の信頼性を実現します。 ●シナリオ2: 新モデル導入時の品質ゲート LLMプロバイダーが新モデルをリリースした際、既存のベンチマークスイートで回帰テストを実行し、factualityスコアが3%低下していることを検出します。原因を分析し、プロンプト調整で品質を維持したまま新モデルへの移行を完了します。 ●シナリオ3: 自動レッドチーミングによる安全性検証 金融機関向けにJAPAN AI AGENTを導入する際、自動レッドチーミングパイプラインを構築します。adversarial promptの自動生成・分類器による脆弱性検出を実装し、業界固有のリスクシナリオ(機密情報漏洩、不適切な金融アドバイス等)を網羅的にテストします。ポリシー準拠率99%以上を達成します。 ●従事すべき業務の変更の範囲 会社の定める業務 成果責任 (KR/メトリクス) ●評価カバレッジ率(テストケース網羅率) ●回帰検出率(リリース前の品質劣化検出率 ≥ 95%) ●評価パイプライン実行時間(CI/CD内で完了) ●LLM-as-Judge と人間評価の一致率 ●False Positive / Negative 率 ●安全性インシデント発生率(リリース後) チーム体制 約120名が開発組織に在籍しています。 AI Evaluation Scientistは品質保証の専門チームとして、以下のチームと密接に連携します: ●密接に連携する役割: ・Agentic Product Engineer — エージェント機能開発 ・Research Engineer — 研究開発・モデル改善 ・Agent Harness Engineer / Software Engineer (AI Platform) — AI 実行基盤開発 ・Product Manager — プロダクト設計・品質要件定義 開発環境 ●言語 : Python (評価パイプライン・分析), TypeScript / React / Next.js (フロントエンド部) / NX ●評価 / QA : pytest, LangSmith, Weights & Biases, custom eval frameworks ●データ : BigQuery, Spark, Pandas ●インフラ : GCP (コンテナ / K8s), Docker, Terraform ●CI/CD : GitHub Actions ●ツール : Slack, Confluence, Linear, Google Workspace, GitHub, Notion ●AI 開発支援 : Claude Code MAX Plan, Cursor, ChatGPT, Devin ●作業環境 : Mac (Apple Silicon), デュアルモニタ対応

JAPAN AI株式会社

ミッション ソフトウェアエンジニアリングとAIを駆使して、テストの自動化とテストケースのライフサイクル全体の質を高め、プロダクト品質とリリース速度を両立させる現在、QA業務のうち約50〜60%はすでに自動化されており、基盤としては一定の水準に達しています。このポジションで問われるのは自動化率を積み増すことだけでなく、未自動化領域の自動化・既存テストの品質改善・テストケースのライフサイクル管理を仕組み化し、改善が自走するサイクルを作ることです。 期待する役割について テストの自動化・既存テストの品質改善・テストケースのライフサイクル運用の3方向をリードし、AIを活用しながらQAプロセス全体が継続的に良くなる仕組みを構築・運用していただきます。 ・自動化できていない領域を見極め、優先度をつけて自動化する ・既存の自動化されたテストの品質(網羅性・保守性・シグナルの信頼性)を継続的に改善する ・テストケースのライフサイクル(作成・実行・評価・棚卸し・廃止)を設計し、改善が回る仕組みを構築・運用する ・AI/LLMを用いたテストケース生成・改善エージェントを構築する ・品質課題をプロダクトチームにフィードバックし、エンジニア/ビジネス/CSとの橋渡しを行う ・約400社が本番利用するプロダクトの品質を、自動化・品質改善・仕組み運用の3方向から担保する 業務内容 ●未自動化領域の自動化 ・自動化できていない箇所を洗い出し、優先度をつけて自動化する ・AI/LLMを活用したテストケース生成エージェントの構築 ・CI/CDへの自動テスト組み込み・回帰テストの整備 ●既存テストの品質改善 ・既存テストケースの品質(重複・カバレッジ・保守コスト・シグナルの信頼性)を精査し、改善する ・Flakyテストの検知・修正、形骸化したテストの棚卸し ・テスト設計・品質基準の策定、良いテストケースの記述 ●テストケースのライフサイクル設計・運用 ・テストケースの作成〜実行〜評価〜棚卸し〜廃止までのライフサイクルを設計する ・改善が継続的に回る仕組み(レビュー体制・メトリクス・運用フロー)を構築・運用する ・JAPAN AI STUDIOを活用したQA・テスト業務の仕組み化 ・品質課題をプロダクトチームにフィードバックし、エンジニア/ビジネス/CS/非エンジニアとの橋渡しを行う チーム体制 約150名が開発組織に在籍しています。 密接に連携する役割: ・Agentic Product Engineer — エージェント機能開発 ・Research Engineer — 研究開発・モデル改善 ・Agent Harness Engineer / Software Engineer (AI Platform) — AI 実行基盤開発 ・Product Manager — プロダクト設計・品質要件定義 開発環境 言語 : Python (評価パイプライン・分析), TypeScript / React / Next.js (フロントエンド部) / NX 評価 / QA : pytest, LangSmith, Weights & Biases, custom eval frameworks データ : BigQuery, Spark, Pandas インフラ : GCP (コンテナ / K8s), Docker, Terraform CI/CD : GitHub Actions ツール : Slack, Confluence, Linear, Google Workspace, GitHub, Notion AI 開発支援 : Claude Code MAX Plan, Cursor, ChatGPT, Devin 作業環境 : Mac (Apple Silicon), デュアルモニタ対応 従事すべき業務の変更の範囲 会社の定める業務

株式会社カカクコム

HRカンパニーのアナリティクスエンジニアとして、ビジネスやプロダクトの成長を加速させるため、「データ分析による課題解決」と「信頼性の高いデータ基盤の構築」の両輪を担っていただきます。 「求人ボックス」と「エンゲージ」のデータを横断的に活用し、カカクコムグループ全体のデータシナジーを生み出すことがミッションです。 ・KPI・管理指標の設計・策定、およびビジネス課題の特定と解決に向けた分析 ・BigQuery・Databricks等を活用したELT/ETLパイプラインの設計・実装・自動化 ・データモデリング・データマートの設計・構築・運用 ・ダッシュボード構築および施策のパフォーマンス管理(Looker Studio / Tableau / Redash等) ・統計的手法を用いた仮説検証・効果測定・ネクストアクションの提言 ・データ品質のモニタリング・テスト実装・アラート設計 ・DWHアーキテクチャ・データレイクハウスの設計・運用への参画 ・アナリティクスエンジニア・データサイエンティストとの協働による分析支援 ・データガバナンスの策定・推進 ・チームの技術的方向性への意見出し・合意形成 ・メンバーのタスク整理・優先度調整のサポート ・メンバーのコードレビュー・スキルアップ支援 ●利用ツール 【業務環境】 プロジェクト管理:Confluence / Jira　ソースコード管理:GitHub Enterprise　生成AIツール:Cursor / Dify コミュニケーション:Slack コラボレーション:Miro Officeツール:Google Workspace / Box / Microsoft365 端末:Windows(MacBook Proも選択可) 【開発環境・技術スタック】 データプラットフォーム:BigQuery / Databricks クラウド:Google Cloud / AWS DWH・ストレージ:BigQuery / Amazon Redshift / Amazon S3 ETL/データ連携:AWS Glue / TROCCO 言語:SQL / Python BI:Looker Studio / Tableau / Redash 他:Vertex AI / Cloud Run / GCE / Workflows / KARTE / Adjust / Google Tag Manager 等 1か月目 ・担当サービスのビジネスモデル・データ基盤の理解 ・既存の分析プロジェクト・データパイプラインの把握 ・チームメンバーとの関係構築 2か月目以降 ・新規プロジェクトの担当(小規模案件から) ・チーム内での知見共有やメンバーの育成・指導 3か月目以降 チームの中核として技術課題の整理・提言、メンバー育成・レビューを主導

燈株式会社

急成長する自社プロダクトを技術で支える SRE を募集します。 最先端の LLM 技術を活用したプロダクトでは、ユーザー体験の根幹となる「サービスの信頼性」を追求します。 もう一方のプロダクトでは、将来の事業拡大を見据えた「インフラ刷新とコスト最適化」を、大きな裁量のもとリードしていただきます。 安定稼働と事業成長の両輪を支える、非常に重要なポジションです。 あなたの技術力で、プロダクトの未来を支えてください。 ●具体的には ・プロダクトの特性に合わせたSLI/SLOの策定と、モニタリング環境の設計・構築 ・外部API(LLM)連携部分の安定稼働に向けた、継続的な監視とプロアクティブなパフォーマンス改善 ・将来的なアクセス増加に耐えうる、スケーラブルなインフラ基盤の再設計と技術選定のリード ・クラウド利用料の継続的なモニタリングと分析に基づいた、インフラコストの最適化 ※これまでのご経験領域やお持ちの知識に応じて、可能な業務からご対応いただき、徐々に対応範囲を広げていただきます。 最初からすべての業務を担う必要はありません。 知識・技術をキャッチアップしながらバリューを発揮いただける方に、本ポジションをお任せしたいと考えています。 ●自社プロダクト紹介 [建設業特化のバックオフィスDXサービス「Digital Billderシリーズ」](https://www.lp.digitalbillder.com/) ・建設業に特化したバックオフィスDXサービス。 ・Digital Billder見積書・発注・請求書・経費精算の4サービスから構成されるシリーズ。 サービス累計700社以上が導入。 [建設業特化の生成AIサービス「AIコンストシェルジュ 光/Hikari」](https://hikari.akariinc.co.jp/) ・建設業特化のAIエージェント。 ・ローンチ1年で300社の契約を達成 [製造業特化の生成AIサービス「製造業AIエージェント 工/Takumi」](https://takumi.akariinc.co.jp/) ・製造業特化のAIエージェント。 ・2025年ローンチの新プロダクト ●技術スタック(一例) フロントエンド Typescript Node.js React Next.js バックエンド Typescript Node.js Python NestJS FastAPI GraphQL Hasura gRPC インフラ Terraform Kubernetes AWS Microsoft Azure AI Python Numpy Pandas Pytorch OpenCV AI開発支援ツールの導入 当社では、最新の AI 開発支援ツールを実務に組み込み、効率と品質を同時に高めています。 主な活用例は以下の通りです。 ●Devin :自動タスク実行により、同時並行での実装数を向上 ●Claude Code :自然言語から高度なコード提案・改善を行い、実装スピードおよび同時並行実装数を向上 ●v0.dev :高速な UI モックアップ生成により、要件確認を迅速化 ●GitHub Copilot :日常的なコーディング補助により、作業効率を底上げ ●Gemini :Deep Research や Python 実行を活用した情報検索・解析で、調査および設計の精度を向上