ストックオプション（信託型等）あり PyTorchのITエンジニア求人・転職情報

ミッション "AI の出力品質を科学する — 評価手法の研究・開発で、エージェントの信頼性を証明する" LLM / AIエージェントの出力品質を、機械学習・統計学・計量心理学の手法で定量的に評価・改善します。本ポジションは「テストする人」ではなく、 「何をもって良いAIとするかを定義し、測定する科学者」 です。 期待する役割について AI Evaluation Scientist として、AI エージェントの品質評価基盤の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 — LLM-as-Judge の校正、報酬モデリング、ベンチマーク設計を通じて「何をもって品質とするか」を科学的に定義します ●自動評価パイプラインの設計・構築 — 研究成果を本番 CI/CD に組み込み、スケーラブルな品質ゲートを実現します ●レッドチーミング・安全性検証 — adversarial testing の自動化、ポリシー準拠検証フレームワークを構築します ●統計的実験計画に基づく品質改善 — A/B テスト・有意差検定でプロンプト戦略やモデル変更の効果を定量的に検証します ●評価シグナルの研究・開発チームへのフィードバック — モデル改善の複利ループを構築します 約 200 社が本番利用するプロダクトの品質を「科学する」アプローチで担保します 業務内容 AI Evaluation Scientistとして、 AIエージェントの評価基盤 (Evaluation Infrastructure) の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 ・LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules) ・評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection) ・報酬モデリング / preference learning の評価への応用研究 ・評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection) ・評価セット (合成データ + 実ログ) の設計・構築・メンテナンス ●自動評価パイプラインの設計・構築 ・スケーラブルな自動評価パイプラインの設計・実装 ・CI/CD への評価パイプライン組込みと品質ゲートの構築 ・エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応) ・評価パイプラインの再現性・信頼性の担保 ●安全性・品質検証 ・自動レッドチーミング (automated adversarial testing) の研究・実装 ・安全性 / ポリシー準拠の検証フレームワーク構築 ・ハルシネーション検出・校正手法の研究・実装 ・プロンプト / ツール回帰テストの設計・実行 ●統計分析・実験設計 ・統計的実験計画 (A/B テスト、有意差検定) の設計・分析 ・品質トレンドの可視化・回帰検出の自動化 ・品質レポート作成と改善提案 ・評価シグナルの研究・開発チームへのフィードバック 業務シナリオ ※以下は想定される業務シナリオの例です ●シナリオ1: LLM-as-Judge の校正と妥当性検証 新しい評価メトリクスとして LLM-as-Judge を導入する際、judge モデルの校正 (calibration) を実施します。人間評価との一致率を統計的に検証し、rubric 設計を反復改善します。construct validity を確認した上で、自動評価パイプラインに組み込み、評価コストを 80% 削減しながら人間評価と同等の信頼性を実現します。 ●シナリオ2: 新モデル導入時の品質ゲート LLMプロバイダーが新モデルをリリースした際、既存のベンチマークスイートで回帰テストを実行し、factualityスコアが3%低下していることを検出します。原因を分析し、プロンプト調整で品質を維持したまま新モデルへの移行を完了します。 ●シナリオ3: 自動レッドチーミングによる安全性検証 金融機関向けにJAPAN AI AGENTを導入する際、自動レッドチーミングパイプラインを構築します。adversarial promptの自動生成・分類器による脆弱性検出を実装し、業界固有のリスクシナリオ(機密情報漏洩、不適切な金融アドバイス等)を網羅的にテストします。ポリシー準拠率99%以上を達成します。 ●従事すべき業務の変更の範囲 会社の定める業務 成果責任 (KR/メトリクス) ●評価カバレッジ率(テストケース網羅率) ●回帰検出率(リリース前の品質劣化検出率 ≥ 95%) ●評価パイプライン実行時間(CI/CD内で完了) ●LLM-as-Judge と人間評価の一致率 ●False Positive / Negative 率 ●安全性インシデント発生率(リリース後) チーム体制 約120名が開発組織に在籍しています。 AI Evaluation Scientistは品質保証の専門チームとして、以下のチームと密接に連携します: ●密接に連携する役割: ・Agentic Product Engineer — エージェント機能開発 ・Research Engineer — 研究開発・モデル改善 ・Agent Harness Engineer / Software Engineer (AI Platform) — AI 実行基盤開発 ・Product Manager — プロダクト設計・品質要件定義 開発環境 ●言語 : Python (評価パイプライン・分析), TypeScript / React / Next.js (フロントエンド部) / NX ●評価 / QA : pytest, LangSmith, Weights & Biases, custom eval frameworks ●データ : BigQuery, Spark, Pandas ●インフラ : GCP (コンテナ / K8s), Docker, Terraform ●CI/CD : GitHub Actions ●ツール : Slack, Confluence, Linear, Google Workspace, GitHub, Notion ●AI 開発支援 : Claude Code MAX Plan, Cursor, ChatGPT, Devin ●作業環境 : Mac (Apple Silicon), デュアルモニタ対応

エージェント研究開発 異なるエージェント・ハーネスの発案・開発・比較 (メモリ、コンテキスト圧縮、エージェント間通信アーキテクチャ等) 新しい推論・計画・検索手法の研究開発 マルチモーダル・長文コンテキスト対応の技術開発 最新論文の調査・再現・改良実装 評価・ベンチマーク 大規模なエージェント型タスクのための厳密な定量ベンチマークの設計・実装 合成データ生成・評価ベンチマーク設計 モデルとプロンプトの自動評価支援 (学習 → プロダクトライフサイクル全体) プロダクション課題の解決 推論レイテンシ / コスト最適化 (量子化、蒸留、キャッシュ等) モデル学習用データミックスの作成・最適化 エージェント評価フレームワークの高度化 本番環境での品質改善・パフォーマンスチューニング 技術移転・発信 Agentic Product Engineer チームへの技術移転・メンタリング 学術機関・OSS コミュニティとの連携 【業務シナリオ例】 ※以下は想定される業務シナリオの例です ● シナリオ 1 : SaaS 横断検索のためのナレッジグラフ RAG の研究開発 JAPAN AI STUDIO が「企業の脳」として機能するには、顧客の全 SaaS に散在する情報を横断的に検索・統合する必要がある。 既存の RAG では「Aプロダクト の従業員データ」と「Bプロダクト の商談データ」の関係性を捉えられず、回答精度が低い。 ナレッジグラフベースの RAG アーキテクチャを研究・開発し、エンティティ間の関係性を構造化。 SaaS 横断検索の回答精度を 40% 向上させ、Agentic Product Engineer チームに技術移転して全プロダクトに展開。 ●ミッション Agentが降参する問題を解く 現在の AI エージェントでは解決できないフロンティア課題に挑み、新しい推論手法・検索 / 計画・長期記憶・ツール利用の品質限界を突破する。 JAPAN AI STUDIO 上で動く数百のワークフローが、より賢く・速く・安全に動作する未来を、研究で切り拓く。 ●期待する役割について Research Engineer として、AI/LLM/ML の最先端研究と応用研究をリードしていただきます。 異なるエージェント・ハーネスの発案・開発・比較 (メモリ、コンテキスト圧縮、エージェント間通信アーキテクチャ等) 大規模なエージェント型タスクのための厳密な定量ベンチマークの設計・実装 モデルとプロンプトの自動評価を支援し、学習からプロダクトライフサイクル全体にわたって品質を担保 プロダクト組織と協力し、エージェントをプロダクトに適用するうえでの最も困難な課題を解決 モデル学習用データミックスの作成・最適化により、エージェントタスクにおける性能と使いやすさを向上 研究成果を Agentic Product Engineer チームに移転し、プロダクト全体の品質を底上げ 論文を書くことがゴールではありません。 研究成果をプロダクションに適用し、約 200 社が利用する本番環境でユーザーに届けることを重視します。 ●成果責任 (KR/メトリクス) ベンチマークスコア改善率 (社内 / 公開ベンチマーク) 新手法のプロダクション適用数 (四半期あたり) 推論レイテンシ / コスト改善率 論文・技術ブログ発表数 社内技術移転完了数 ●チーム体制 約120名が開発組織に在籍しています。 Research Engineerは以下のプロジェクトを横断して活動します: JAI Lab — AI研究開発 AI&Model — モデル学習・最適化 Voice & Tel — 音声AI・電話システム 密接に連携する役割: Agentic Product Engineer — エージェント機能開発 (技術移転先) Agent Harness Engineer — エージェント実行基盤 AI Quality Scientist Specialist — 評価パイプラインとの連携 Product Manager — プロダクト設計 ●開発環境 言語 : Python (研究・フレームワーク部), TypeScript / React / Next.js (フロントエンド部) / NX ML / AI : PyTorch, JAX, Transformers, vLLM, Weights & Biases インフラ : GCP (コンテナ / K8s), Docker ツール : Slack, Confluence, Linear, Google Workspace, GitHub, Notion AI 開発支援 : Claude Code MAX Plan, Cursor, ChatGPT, Devin 作業環境 : Mac (Apple Silicon), デュアルモニタ対応

●職務概要 最先端の統計解析、機械学習、そしてLLM(大規模言語モデル)をはじめとする生成AI技術を駆使し、ビジネス課題の解決を推進します。 単なる分析PoC(概念実証)で終わらせるのではなく、データから得た示唆をアルゴリズムとして実装し、システム化・プロダクト化することで、「継続的なビジネス成果」を創出することがミッションです。 ●業務内容 プロジェクトの最上流から参画し、ビジネス課題の特定からアルゴリズムの選定、実装、社会実装まで一気通貫で携わっていただきます。 ・生成AI・LLM活用: RAG(検索拡張生成)を用いた社内知見の活用支援や、LLMによる業務自動化・コンテンツ生成アルゴリズムの技術検証およびシステム開発。 ・予測・最適化モデル構築: 需要予測、顧客離反予測、LTV最大化、マーケティング最適化など、大規模データを活用した数理モデルの設計。 ・社会実装とMLOps: 構築したモデルをWeb API等へ組み込み、運用・改善サイクルを回すことで、実ビジネスで活用され続ける仕組みの構築。 ・研究開発(R&D): 最新論文の調査・トレースを行い、最先端技術を商用利用可能なレベルまで引き上げる研究開発。 ・ステークホルダーとの折衝: クライアントや事業部門に対し、分析結果のレポーティングや、技術的背景に基づいた戦略的な意思決定の支援。

<期待する役割> ご自身の専門性と組織課題が最も合致する領域からスタートしていただきます。その後は、経営・CTO・各開発責任者と連携し、その時々で解決すべき「最も解きごたえのある壁」に向き合っていただきます。 <想定される業務例> ●戦略的プロダクト開発・刷新への参画 ・成長痛に直面しているプロダクトに入り込み、ボトルネックの特定からアーキテクチャの再設計、難易度の高い実装までを牽引する。 ●全社横断的な「技術的突破口」の作成 ・特定のチームだけでは解決できない共通基盤(認証、データ連携、CI/CD等)の課題に対し、全社最適なソリューションを構築・展開する。 ●技術的意思決定のリードと品質の担保 ・複数チームが関わる複雑なシステムデザインのレビューや、セキュリティ・スケーラビリティ等の高い基準の策定と実行。 ●技術組織の成熟化への寄与 ・課題解決を通じて、次世代のリードエンジニアを育成し、組織全体の「壁を乗り越える力」を底上げする。 <開発環境> ●フロントエンド:TypeScript,React,Next.js ●バックエンド:Rust(axum),TypeScript,Node.js(Express,Fastify,NestJS) ●機械学習・アルゴリズム:Rust,Python,OpenCV,PyTorch,TorchServe,Elasticsearch,Vertex AI ●インフラ:Google Cloud,Google Kubernetes Engine,Anthos Service Mesh,Istio,Cloudflare,Argo Workflows ●Event Bus:Cloud Pub/Sub ●DevOps:GitHub,GitHub Actions,ArgoCD,Kustomize,Helm,Terraform,Datadog,MixPanel,Sentry ●Data:CloudSQL(PostgreSQL),AlloyDB,BigQuery,dbt,trocco ●API:GraphQL,REST,gRPC ●認証: Auth0 ●開発ツール:GitHub Copilot,Figma,Storybook ●コミュニケーションツール:Slack,Discord,JIRA,Miro,Confluence

・SPA, MPA, SSRなどによるWebアプリケーションの設計・実装・リリース ・バックエンドエンジニアとの設計議論、APIのIF設計 ・ディレクター・デザイナーとのUI/UX設計議論 ・業務メンバーからの業務要件聴取 【使用技術】 Amazon Web Services Terraform TypeScript (Vue.js / React.js) Webpack 5 【使用サービス】 Google Workspace Slack 1Password GitHub Kibela Backlog Datadog Opsgenie Bitrise

●募集概要 MNTSQでは、データドリブンな契約プロセスの実現を通じて、ビジネスの高速化とリスクコントロールの両立を目指すプロダクト「MNTSQ CLM」を開発しています。 私たちは、大規模言語モデルをはじめとする最先端のAI技術を駆使して、契約データに潜む価値を最大限に引き出し、プロダクトを共に進化させていくAIエンジニアを募集しています。 こちらも合わせてお読みください。 https://note.mntsq.co.jp/n/nd94260d3658e ●担当業務 次の3つを軸とした業務を担当していただきます。 ・AI機能の実現可能性検証やプロトタイピング ・AI機能の運用(KPI設計やモニタリング)・改善の仕組みづくり ・既存モデルの性能限界を超えるための調査や実験 上記以外でも、個人のご希望やプロジェクトの性質に応じて、アプリケーション開発やインフラ構築など様々な領域に挑戦が可能です。 ※職種の変更範囲:会社の定める業務 ●技術スタック ・言語: Python, TypeScript ・フレームワーク・ライブラリ: FastAPI, MCP, 生成AI, PyTorch ・クラウドプラットフォーム: AWS, Google Cloud ・データベース・検索エンジン: MySQL, OpenSearch ・ツール: GitHub, Docker ●プロダクト開発体制 所属する組織は開発本部です。全体で約50名おり、以下4つのチームからなる体制です。 【参考記事】 ・[WHY-WHAT-HOWを繋げる - MNTSQの掲げる理想のプロダクト開発 -](https://note.mntsq.co.jp/n/ne5d0464613b6) ・[FY26下期、MNTSQ開発組織と向かう先](https://note.com/naomichi_takata/n/n2a2f00242f76) ●入社受入の体制 <前提となる働き方> コアタイム無しのフルフレックスです。 リモートと出社のハイブリットワークです。出社は月5日以上となります。 エンジニアは、業務に集中するため、ミーティングを入れない日や時間帯を設けながら、生産性を追求しています。 <3ヵ月のオンボーディングプログラム> MNTSQはバリューとして「 自由と責任の文化 」を掲げています。 バリューの理解を深めていただくとともに、MNTSQでどう力を発揮するか、全社を挙げてフォローします。 期間中はメンターが付きます。水先案内人として、MNTSQでの活躍を側面支援します。

テクノロジー組織が最大限に価値発揮をするための組織マネジメント活動や、事業戦略上の意思決定プロセスへの関与をお任せします。 ※ご経験やご志向を踏まえ、単一チームまたは複数チームのマネジメントを担っていただく想定です。 ・事業戦略やプロダクトビジョンにアラインした目標設定と目標達成マネジメント ・1on1や評価フィードバック等を通じたチームリーダーやマネージャー層の育成 ・事業・プロダクトのスケールを見据えた組織設計 ・日本語/英語の2言語を用いる組織において、生産性を向上させるための情報流通の企画・推進 ・エンジニア採用活動・社外広報活動の推進 ・CADDi Techカルチャーの浸透 ・その他、エンジニアリング組織の価値発揮を最大化するための問題提起や施策の企画・実行 開発環境 ・フロントエンド:TypeScript,React,Next.js ・バックエンド:Rust(axum),TypeScript,Node.js(Express,Fastify,NestJS) ・機械学習・アルゴリズム:Rust,Python,OpenCV,PyTorch,TorchServe,Elasticsearch,Vertex AI ・インフラ:Google Cloud,Google Kubernetes Engine,Anthos Service Mesh,Istio,Cloudflare,Argo Workflows ・Event Bus:Cloud Pub/Sub ・DevOps:GitHub,GitHub Actions,ArgoCD,Kustomize,Helm,Terraform,Datadog,MixPanel,Sentry ・Data:CloudSQL(PostgreSQL),AlloyDB,BigQuery,dbt,trocco ・API:GraphQL,REST,gRPC ・認証: Auth0 ・開発ツール:GitHub Copilot,Figma,Storybook ・コミュニケーションツール:Slack,Discord,JIRA,Miro,Confluence

Data&Analysis部 AI for Applicationチームに所属。 プロダクト戦略に基づいた戦略策定・開発計画の策定や実行のリード、メンバーの採用・評価・育成などのマネジメント業務を担っていただくことを想定しています。 ●プロダクトに蓄積された様々なデータをアプリケーションで活用することで、アプリケーション自体の価値を高めることに責任を持つ。 ●既存プロダクトの価値向上、新規プロダクトの立ち上げ両方の可能性があります。 ●現在若干名で組織の立ち上げフェーズです。 本ポジションの方に、チームの定義づけや立ち上げを含めて担っていただくことを想定しています。 ※Data&Analysis部は30名程度の組織です。 上記以外にも、データの解析を担うAnalysisチーム、解析基盤の開発を担うAnalysis Platformチーム、データ基盤の開発やデータの利活用を担うData Managementチームがあります。 (2025年4月時点) キャディにおけるエンジニアリングマネージャーとは ●担当する部やグループの成果を最大化することがミッションです。 ●向かう先を示すために OKR を設定したり、将来のあるべき姿から逆算して、必要なマネジメント業務を行います。 ●EMの役割は画一的には決まっておらず、成果の出し方はその人の得意なやり方で良いと考えています。 例えば、他者を動かして成果を出すエンパワーメントが得意な人もいれば、現場で自ら設計や方針決定をリードする人もいます。 テクノロジーマネジメント、プロジェクトマネジメント、プロダクトマネジメント、ピープルマネジメントの割合も各EMの担当領域や注力課題により異なります。 ●開発環境 フロントエンド: TypeScript, React, Next.js バックエンド: Rust(axum), TypeScript, Node.js(Express, Fastify, NestJS) 機械学習・アルゴリズム: Rust, Python, OpenCV, PyTorch, TorchServe, Elasticsearch, Vertex AI インフラ: Google Cloud, Google Kubernetes Engine, Anthos Service Mesh, Istio, Cloudflare, Argo Workflows Event Bus: Cloud Pub/Sub DevOps: GitHub, GitHub Actions, ArgoCD, Kustomize, Helm, Terraform, Datadog, MixPanel, Sentry Data: CloudSQL(PostgreSQL), AlloyDB, BigQuery, dbt, trocco API: GraphQL, REST, gRPC 認証: Auth0 開発ツール: GitHub Copilot, Figma, Storybook コミュニケーションツール: Slack, Discord, JIRA, Miro, Confluence