ITエンジニア転職ならテックゴー

QAエンジニア・テストエンジニア（テスター）(FastAPI)の求人・転職情報

該当求人数 2 件

1~2件を表示

JAPAN AI株式会社

NEW

【JAPAN AI】AI Quality Scientist / Japanese

AI Quality Scientist / Japanese

800～1,600万円

Spark

Docker

Confluence

React

Snowflake

Kubernetes

正社員

東京都新宿区

"AI の出力品質を科学する — 評価手法の研究・開発で、エージェントの信頼性を証明する" LLM / AI エージェントの出力品質を、機械学習・統計学・計量心理学の手法で定量的に評価・改善します。評価メトリクスの研究開発から自動評価パイプラインの本番実装まで、「AI 評価科学」という新しい研究領域を社内に確立し、約 200 社が本番利用するプロダクトの品質を科学的に保証します。 AI Quality Scientist として、AI エージェントの品質評価基盤の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 — LLM-as-Judge の校正、報酬モデリング、ベンチマーク設計を通じて「何をもって品質とするか」を科学的に定義します ●自動評価パイプラインの設計・構築 — 研究成果を本番 CI/CD に組み込み、スケーラブルな品質ゲートを実現します ●レッドチーミング・安全性検証 — adversarial testing の自動化、ポリシー準拠検証フレームワークを構築します ●統計的実験計画に基づく品質改善 — A/B テスト・有意差検定でプロンプト戦略やモデル変更の効果を定量的に検証します ●評価シグナルの研究・開発チームへのフィードバック — モデル改善の複利ループを構築します約 200 社が本番利用するプロダクトの品質を「科学する」アプローチで担保します ●評価メトリクスの研究開発・LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules) ・評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection) ・報酬モデリング / preference learning の評価への応用研究・評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection) ・評価セット (合成データ + 実ログ) の設計・構築・メンテナンス ●自動評価パイプラインの設計・構築・スケーラブルな自動評価パイプラインの設計・実装・CI/CD への評価パイプライン組込みと品質ゲートの構築・エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応) ・評価パイプラインの再現性・信頼性の担保 ●安全性・品質検証・自動レッドチーミング (automated adversarial testing) の研究・実装・安全性 / ポリシー準拠の検証フレームワーク構築・ハルシネーション検出・校正手法の研究・実装・プロンプト / ツール回帰テストの設計・実行 ●統計分析・実験設計・統計的実験計画 (A/B テスト、有意差検定) の設計・分析・品質トレンドの可視化・回帰検出の自動化・品質レポート作成と改善提案・評価シグナルの研究・開発チームへのフィードバック ●シナリオ1: LLM-as-Judge の校正と妥当性検証新しい評価メトリクスとして LLM-as-Judge を導入する際、judge モデルの校正 (calibration) を実施します。人間評価との一致率を統計的に検証し、rubric 設計を反復改善します。 construct validity を確認した上で、自動評価パイプラインに組み込み、評価コストを 80% 削減しながら人間評価と同等の信頼性を実現します。 ●シナリオ2: 新モデル導入時の品質ゲート LLMプロバイダーが新モデルをリリースした際、既存のベンチマークスイートで回帰テストを実行し、factualityスコアが3%低下していることを検出します。原因を分析し、プロンプト調整で品質を維持したまま新モデルへの移行を完了します。 ●シナリオ3: 自動レッドチーミングによる安全性検証金融機関向けにJAPAN AI AGENTを導入する際、自動レッドチーミングパイプラインを構築します。 adversarial promptの自動生成・分類器による脆弱性検出を実装し、業界固有のリスクシナリオ(機密情報漏洩、不適切な金融アドバイス等)を網羅的にテストします。ポリシー準拠率99%以上を達成します。 ●従事すべき業務の変更の範囲会社の定める業務

詳細を見る

まずは相談する

NEW

【JAPAN AI】AI Quality Scientist / Japanese

AI Quality Scientist / Japanese

正社員

800～1,600万円

東京都新宿区

Spark

Docker

Confluence

React

Snowflake

Kubernetes

JAPAN AI株式会社

詳細を見る

この求人について問い合わせる

テックタッチ株式会社

NEW

【新規事業】AI Central Voice(P)_フロントエンドエンジニア

フロントエンドエンジニア

600～1,200万円

Terraform

Slack

AWS

TypeScript

Python

GitHub

正社員

東京都中央区

【事業概要】テックタッチのAI Central事業部では、企業が持つ様々な文章データを独自のデータベースへとAIを使い構造化し、その企業だけのナレッジベースを作り上げる革新的なプロダクトを開発しています。特に定性データを感情や要望を含めた分析可能な形に変換する技術や、業界・企業特有の文脈を理解した分析が可能な点が特徴的です。また、蓄積されたデータをもとにAIがディスカッションパートナーとなり、製品開発やマーケティング戦略の意思決定をサポートする機能も顧客から評価されているポイントです。テックタッチは「すべてのユーザーがシステムを使いこなせる世界に」をミッションに掲げ、生成AIを活用した新規事業の立ち上げを行なっています。 AIの活用は企業の経営として今後なくてはならないものになると信じており、特に弊社の顧客基盤である大企業ではAIの活用は待ったなしの状況となっています。【実際に担当いただく業務】 AI Central事業部では、BizチームとProductチームが共同しながら、常に新しいAI技術へのキャッチアップ、トレンド理解、技術理解、顧客活用に勤しんでいます。本ポジションで具体的に担っていただきたい業務の例は以下の通りです。・Remix、TypeScriptを活用したWebアプリケーションの設計・実装・Cloudflare Pages & Workersを活用したサーバーレスアプリケーションの構築と運用・ユーザー体験を重視したUI/UXデザインの実装と改善・フロントエンドのテスト戦略の策定と実装【使用技術】 ◆現状採用している技術スタック Frontend: Typescript, Remix Backend: Python, FastAPI Infrastructure: AWS(Fargate, Aurora, S3, ElastiCache etc), Terraform ◆開発環境コード管理: Github コミュニケーション: Slack ◆生成AIツールへの投資状況当社では、社員の創造性と生産性を最大限に引き出すために、最新の生成AIサービスを積極的に導入しています。特に、機密情報や社内秘情報といった重要なデータも安心して入力できる、高度なセキュリティを備えたAIサービスを活用している点が大きな特徴です。以下は、社内で利用が許可されているサービス/APIの一部です。今後も常に最先端のAIを検討、導入していきます。 API OpenAI API Anthropic API Gemini API Perplexity API 開発ツール Github Copilot Cursor Business Devin 生成AIサービス ChatGPT Team/Enterprise Azure OpenAI Service Claude Team/Enterprise Gemini Advanced/Gemini for GWS Perplexity Enterprise Pro NotebookLM Plus Zoom AI Companion

詳細を見る

まずは相談する

NEW