英語活用 SparkのITエンジニア求人・転職情報

当社は、福岡エリアの金融機関向けにITコンサルティングおよびAI活用支援をより強化すべく、2025年7月に福岡オフィスを開設いたしました。 本ポジションでは、データ基盤構築やAI活用基盤構築に関する企画や基盤設計、構築に関するプロジェクトにおいて、そのスペシャリストとして参画いただくポジションとなります。大手金融機関やそのHD様の案件がメインとなっており、そのような金融機関様のデータ活用の基礎となる大規模なデータ基盤構築に関わることができます。企画、設計、基盤普及を中心とした様々なフェーズに参画することができます。 具体的な案件例として以下のようなものがあります。当社が扱う案件のほとんどが直請の大手金融機関様との案件となっており、日本を代表する様々な企業様でのデータ分析・基盤構築の経験をすることができます。 プロジェクト体制 2名～6名程度でチーミング 具体的な業務内容 ・金融機関向けのデータ基盤およびAI活用基盤構築プロジェクトにおける、設計・開発・運用支援の実行 ・データ収集・加工・集計・クレンジングなど、分析・AI活用に向けたデータ整備処理の実装 ・PythonやSQL、Spark、Airflowなどを用いたデータパイプライン構築および運用 ・AWS/GCP/Azureなどクラウド環境上でのDWH/データレイク構築支援 ・Snowflake、Databricksなどを活用した基盤構築・性能チューニングの実施 ・データ品質向上やガバナンス観点からのモニタリング設定、改善対応 ・AI・データサイエンティストやアーキテクトと連携した分析基盤の整備 ・自社プロダクト(Trust GenGA/Trust TLanP)におけるデータ連携・検証支援 プロジェクト事例 ・証券会社様におけるデジタルマーケティング基盤の構築支援 ・金融コングロマリット様でのグループ横断データ活用基盤企画推進支援 ・カード会社様・証券会社様・信託銀行・銀行、金融HD様などでのAI人材育成の推進、データ活用CoE組織 ・銀行様におけるAutoMLツールの比較検討、導入支援 ・銀行様における市場分析モデルの開発、運用支援 ・証券会社様におけるAI活用コンサルティング支援開発支援 ・生成AI等を活用した金融事務の効率化、ビジネスプロセス変革(当社プロダクトTrust GenGAを活用) ・生成AI等を活用したレガシーシステムマイグレーション支援(当社プロダクトTrust TLanPを活用 ) ※業務変更の範囲 (雇入れ直後)IT専門職 (変更の範囲)すべての業務への配置転換あり

お客様企業のデータドリブンカンパニーへの変革に向けて、Teradata Vantageを活用したデータ活用基盤のデータエンジニア/クラウドエンジニア/PMとして、データ活用基盤の開発やお客様企業のデータ利活用の促進業務を実施します。 ●業務例 基本的にTeradata Vantageの活用を前提とし、またその他データ活用基盤に必要な様々な周辺製品/技術(クラウド各サービス、BI製品等)も活用して、以下のような業務を行います。 ・データ利用部門との課題定義および要件整理 ・データ活用基盤の設計・開発 ・データ活用基盤上のデータモデル設計・開発 ・データ加工処理(ETL・ELT)の設計・開発 ・データ分析を行う上で必要となるデータ可視化(BI)の設計・開発 ・AIモデルの継続的なデリバリー(MLOps)を考慮した環境の設計・開発 ・データ活用促進/データドリブン文化の定着を目的としたユーザトレーニング

データ基盤の新潮流である「Databricks」の登場により、AIを活用したデータ分析が企業にとってより身近な存在となりました。本ポストではデータエンジニア/クラウドエンジニア/PMとして、Databricksの導入によるデータ基盤開発や顧客企業のデータ利活用の促進業務を担っています。業務を通して、データ活用の各工程に関するコンサルティングから開発・運用まで携わることができ、AI・データ領域のトップエンジニアを目指すことができる点が本ポストの魅力です。 より多くの顧客へとDatabricksを導入し、「データとAIの民主化」を実現するため、プロジェクトの中心メンバーとしてリードできる課長~主任までの人財を募集します。 ●Databricksを用いた顧客のデータ活用基盤開発、データ活用を支援するため、下記の業務を担当します。 ・データ利用部門との課題定義および要件整理 ・データ基盤の設計/開発(AWS、Azure等、他のクラウドと連携したデータ基盤の設計・開発) ・データ基盤上のデータモデル設計・開発 ・データ加工処理(ETL/ELT)の設計・開発 ・データ分析を行う上で必要となるデータ可視化(BI)の設計・開発 ・AIモデルの継続的なデリバリ(MLOps)を考慮した環境の設計・開発 ●上記に加えて、顧客企業内部でのデータ活用促進/データドリブン文化の定着を目的としたユーザトレーニングも行います。 案件例 ・大手保険会社における業務改善や新規サービス開発に向けたデータ分析基盤の構築支援:企業が持つデータを集積・統合する仕組みからそれらを活用する機能の開発を支援 ・https://www.nttdata.com/jp/ja/trends/data-insight/2020/071001/ ・https://www.nttdata.com/jp/ja/-/media/nttdatajapan/files/lineup/databricks/databricks-tokyomarine.pdf?rev=a42ccbfd89154adb8b1aaf2e233a5135 キャリアパス ●下記の様なスキルを磨き、AI・データ活用領域のトップエンジニアを目指すことができます。 ・AI・データ活用領域における最先端の技術を活用したシステム開発における上流のアーキテクチャ検討 ・顧客のシステム環境に合わせたAIモデル等に関する技術的開発力 ●管理職を目指すキャリアだけでなく、テクニカルグレード(TG)と呼ばれる技術職のスペシャリストのポジションを目指すことも可能です。

ITスペシャリストもしくはミドルウェア開発者として、先進的基盤技術領域(分散システム/データベース/コンテナ技術/クラウド基盤/ハードウェアアクセラレータ/量子コンピューティングなど)に関する技術開発を担う。具体的には以下の役割となる。 ①先進基盤技術に関する技術検証やリファレンスアーキテクチャの整備　 ・新技術やソフトウェアを調査・検証して、その有用性や将来性について評価し、不足する機能/非機能を補うための技術開発を担う ・当社およびお客様のシステムでの適用可能性や品質を担保するためのアーキテクチャやノウハウの整理・発信を行う ②技術課題の解決/案件支援 ・先進的な/重要なお客様に対する技術支援を行い、その中で生じる高度な技術課題を解決する ・技術支援でともに活動するメンバに対して、技術的な見知から育成する

ミッション "AI の出力品質を科学する — 評価手法の研究・開発で、エージェントの信頼性を証明する" LLM / AIエージェントの出力品質を、機械学習・統計学・計量心理学の手法で定量的に評価・改善します。本ポジションは「テストする人」ではなく、 「何をもって良いAIとするかを定義し、測定する科学者」 です。 期待する役割について AI Evaluation Scientist として、AI エージェントの品質評価基盤の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 — LLM-as-Judge の校正、報酬モデリング、ベンチマーク設計を通じて「何をもって品質とするか」を科学的に定義します ●自動評価パイプラインの設計・構築 — 研究成果を本番 CI/CD に組み込み、スケーラブルな品質ゲートを実現します ●レッドチーミング・安全性検証 — adversarial testing の自動化、ポリシー準拠検証フレームワークを構築します ●統計的実験計画に基づく品質改善 — A/B テスト・有意差検定でプロンプト戦略やモデル変更の効果を定量的に検証します ●評価シグナルの研究・開発チームへのフィードバック — モデル改善の複利ループを構築します 約 200 社が本番利用するプロダクトの品質を「科学する」アプローチで担保します 業務内容 AI Evaluation Scientistとして、 AIエージェントの評価基盤 (Evaluation Infrastructure) の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 ・LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules) ・評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection) ・報酬モデリング / preference learning の評価への応用研究 ・評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection) ・評価セット (合成データ + 実ログ) の設計・構築・メンテナンス ●自動評価パイプラインの設計・構築 ・スケーラブルな自動評価パイプラインの設計・実装 ・CI/CD への評価パイプライン組込みと品質ゲートの構築 ・エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応) ・評価パイプラインの再現性・信頼性の担保 ●安全性・品質検証 ・自動レッドチーミング (automated adversarial testing) の研究・実装 ・安全性 / ポリシー準拠の検証フレームワーク構築 ・ハルシネーション検出・校正手法の研究・実装 ・プロンプト / ツール回帰テストの設計・実行 ●統計分析・実験設計 ・統計的実験計画 (A/B テスト、有意差検定) の設計・分析 ・品質トレンドの可視化・回帰検出の自動化 ・品質レポート作成と改善提案 ・評価シグナルの研究・開発チームへのフィードバック 業務シナリオ ※以下は想定される業務シナリオの例です ●シナリオ1: LLM-as-Judge の校正と妥当性検証 新しい評価メトリクスとして LLM-as-Judge を導入する際、judge モデルの校正 (calibration) を実施します。人間評価との一致率を統計的に検証し、rubric 設計を反復改善します。construct validity を確認した上で、自動評価パイプラインに組み込み、評価コストを 80% 削減しながら人間評価と同等の信頼性を実現します。 ●シナリオ2: 新モデル導入時の品質ゲート LLMプロバイダーが新モデルをリリースした際、既存のベンチマークスイートで回帰テストを実行し、factualityスコアが3%低下していることを検出します。原因を分析し、プロンプト調整で品質を維持したまま新モデルへの移行を完了します。 ●シナリオ3: 自動レッドチーミングによる安全性検証 金融機関向けにJAPAN AI AGENTを導入する際、自動レッドチーミングパイプラインを構築します。adversarial promptの自動生成・分類器による脆弱性検出を実装し、業界固有のリスクシナリオ(機密情報漏洩、不適切な金融アドバイス等)を網羅的にテストします。ポリシー準拠率99%以上を達成します。 ●従事すべき業務の変更の範囲 会社の定める業務 成果責任 (KR/メトリクス) ●評価カバレッジ率(テストケース網羅率) ●回帰検出率(リリース前の品質劣化検出率 ≥ 95%) ●評価パイプライン実行時間(CI/CD内で完了) ●LLM-as-Judge と人間評価の一致率 ●False Positive / Negative 率 ●安全性インシデント発生率(リリース後) チーム体制 約120名が開発組織に在籍しています。 AI Evaluation Scientistは品質保証の専門チームとして、以下のチームと密接に連携します: ●密接に連携する役割: ・Agentic Product Engineer — エージェント機能開発 ・Research Engineer — 研究開発・モデル改善 ・Agent Harness Engineer / Software Engineer (AI Platform) — AI 実行基盤開発 ・Product Manager — プロダクト設計・品質要件定義 開発環境 ●言語 : Python (評価パイプライン・分析), TypeScript / React / Next.js (フロントエンド部) / NX ●評価 / QA : pytest, LangSmith, Weights & Biases, custom eval frameworks ●データ : BigQuery, Spark, Pandas ●インフラ : GCP (コンテナ / K8s), Docker, Terraform ●CI/CD : GitHub Actions ●ツール : Slack, Confluence, Linear, Google Workspace, GitHub, Notion ●AI 開発支援 : Claude Code MAX Plan, Cursor, ChatGPT, Devin ●作業環境 : Mac (Apple Silicon), デュアルモニタ対応

【職務概要】 研究開発全般を担い、サービスコンピューティングに関わる先端技術(クラウド、OSS、IT開発・運用管理)を用いた、製品・サービスにおけるイノベーションと破壊的技術の創生のために、業務の取り纏め者として、社内の関係者との関係を構築し、社内外の学習機会を活用するとともに、自身の経験や先行研究から積極的に学習する。 自身の研究の完遂を通じて、最善の方法を生み出す。 これらの研究開発を通じて社会インフラのDX・GXを加速するサービスPF・ソリューションに貢献する。 【職務詳細】 ・サービスコンピューティングに関わる技術、業界動向、市場動向の調査 ・研究戦略・ロードマップの作成および研究提案 ・顧客課題を解決するための最良のアプローチや技術を選択・開発することにより、顧客ニーズに合った製品とサービスを定義、また、当該製品やサービスの価値を検証するためのプロトタイプ及びデモの開発 ・技術的専門性の観点から事業部門への情報提供ならびに提言 ・研究進捗管理、成果管理、論文執筆、社内研究報告の執筆、知財創生 働く環境 ①2～5名規模の単位でチームを作り、個々人がその技術の専門家として自主性を重視して開発内容を分担するとともに、他部門の研究者や事業部門のリーダおよびチームと連携して業務を進めます。 ②在宅勤務を主として、ブレインストーミングなどのディスカッションなど、必要に応じて出社して推進いただきます。(週1回程度、個人差あり。) ※上記内容は、募集開始時点の内容であり、入社後必要に応じて変更となる場合がございます。予めご了承ください。 キャリアパス 研究や技術に突出した高位専門職と、研究チームを牽引するマネージャ(プレイングマネージャ含む) 配属組織名 Digital Innovation R&D　デジタルインフライノベーションセンタ　サービスコンピューティング研究部 配属組織について サービスコンピューティングは、さまざまなITサービスを用いて、ビジネスとしてのサービスを実現するための技術や方法論を検討する研究分野です。 これを支えるアーキテクチャ、プラットフォーム技術、開発・運用技術、OSSを研究開発しています。 これらの研究開発を通じて、デジタルトランスフォーメーションを加速させ、社会イノベーションの実現に貢献します。 【携わる事業・ビジネス・サービス・製品など】 ●研究概要 https://www.hitachi.co.jp/rd/careers/lab/digtec/02.html ●研究紹介動画 https://www.youtube.com/watch?v=52w95xmNT_Y Trust Data Sharing and Utilization Infrastructure for Sensitive Data Using Hyperledger Projects https://ossalsjp21.sched.com/event/rCg7 機械学習を用いたIT機器の性能異常検知におけるAmazon SageMakerの活用事例 https://pages.awscloud.com/JAPAN-event-OE-20211125-AIML-reg-event.html A Fault Diagnosis Method for Fuel Injectors Using Machine Sound Tien-Trien Le, Takahiro Sagara, Shogo Kunioka, Satoshi Inose, 2020 International Conference on Sensing, Diagnostics, Prognostics, and Control (SDPC) https://ieeexplore.ieee.org/abstract/document/9353183 OpsSC: Decentralized Blockchain Network Operation Workflow for Hyperledger Fabric https://ieeexplore.ieee.org/document/9680558 ●関連事業 稼働音・測定データから建設機械の状態を診断するスマホ診断アプリ「ConSite® Health Check」を提供開始 https://www.hitachicm.com/global/jp/news-list_jp/20-03-23j/ 日立と〈みずほ〉が、ブロックチェーン技術を活用した金流・商流・物流の一体管理とサプライチェーンファイナンスの高度化に関わる実証実験を開始 https://www.hitachi.co.jp/New/cnews/month/2020/12/1228.html 「IT運用最適化サービス」において、AI活用によりシステム稼働レポート作成業務のさらなる自動化を実現 https://www.hitachi.co.jp/Prod/comp/soft1/jp1/notice/2020/1002.html マルチクラウド環境で、人のスキルに依存しないシステム監視と一元的な業務運用管理を容易にする「JP1」の最新版を販売開始 高信頼な運用基盤をSaaS型で利用可能な「JP1 Cloud Service」も新たに提供 https://www.hitachi.co.jp/New/cnews/month/2021/01/0121.html

【ポジション概要】 世界有数の金融グループであるMUFG(S&Pグローバル,2020年4月)は、3,400万人の個人、100万社の法人のお客さま(MUFGレポート,2024年)のお取引情報をはじめとする膨大なデータを活用し、店舗におけるお客様対応・事務、本部バックオフィス業務も含めた多岐にわたる業務の高度化・効率化のため、画像・音声認識、自然言語処理、ロジック処理などあらゆる形態でAI・MLを活用しています。 三菱UFJ銀行をはじめとする事業部門と至近距離で協働し、ビジネス理解及びデータ分析タスクの設定、モデル構築を主体的に推進し、MUFGのビジネス変革・デジタライゼーション(DX)に大きく貢献いただける方を募集しています。 【業務内容】 (雇入れ直後) ・データ分析テーマの選定、データ分析プロジェクトの企画・推進 ・データ分析業務(設計・構築、データ解析、可視化、データ分析結果の評価等)を通じた業務革新・効率化 ・AIや機械学習を用いたモデル実装、運用を通じた銀行業務高度化 ・データの構造化・加工・分析処理等のデータエンジニアリング ・生成系AIの活用推進・分析への活用 (変更の範囲) 会社の定める業務 【業務内容】※補足 ・データ分析・AIモデル開発に加え、企画〜運用まで一貫して関与 ・ビジネス部門と連携し、課題設定から価値創出まで担うプロジェクト推進 ・不正検知、マーケティング、業務効率化など多様なテーマに対応 ・大規模データ(数千万件規模)を活用した分析・開発 ・MLOps等を用いたモデル運用・改善の高度化 【役割・責任】 ・データ分析案件の担当者として、MUFGの事業部門と協働しビジネス課題からデータ分析タスクの抽出、評価基準策定を支援。 ・データの探索、前処理、モデル構築、モデル評価、プロダクションで稼働しているAIモデルの保守運用 ・エンジニアチームに対する技術的なリーダーシップ提供(ツール・インフラ整備・利用指南・コードレビュー・設計等)、およびコーチング・メンタリング。 【配属想定部署】 データサイエンス部(グループ事業部門・デジタルイノベーション本部配下) 【配属想定部署概要】 ・AI/データサイエンス推進に係る企画・推進・管理・取り纏め(※銀行と協働) ・AI/データサイエンスの人材開発、体制整備 ・データ分析業務 【配属想定部署の人員構成】 約50名が在籍。 若手社員から中堅社員まで幅広く在籍。 ・2022年度、2023年度の中途採用者約10名在籍しており、中途採用者も活躍中 ・20代のメンバーが約4割程度 【おもな関係者】 各業務を所管するMUFG事業部門、社内開発チーム、外部企業等と、マネジメント層・メンバーを問わず、連携いただきます。 また、社内やMUFG全体に対する啓蒙活動や情報発信等を担っていただくため、社内マネジメントとの連携やレポーティング機会も多くあります。 学術機関、外部コミュニティ等との連携も積極的に実施いただきます。 【想定担当案件(例)】 銀行各部門の様々な業務に関連するデータ分析を行っていただきますが、以下のようなプロジェクトに携わっていただきます。 ・セールス部署への顧客動向分析、レコメンデーション提供 ・自然言語処理等を活用した銀行業務高度化 ・生成系AI活用案件 ・金融サービスに係わる不正検知 【インタビュー記事】 https://www.it.mufg.jp/recruiting/career/work/projects.html ・データサイエンス部：[データサイエンスで推進するMUFGのビジネス変革](https://www.bizreach.jp/job-feed/public-advertising/rgpw7g8/)

【ポジション概要】 世界有数の金融グループであるMUFG(S&Pグローバル,2020年4月)は、3,400万人の個人、100万社の法人のお客さま(MUFGレポート,2024年)のお取引情報をはじめとする膨大なデータを活用し、店舗におけるお客様対応・事務、本部バックオフィス業務も含めた多岐にわたる業務の高度化・効率化のため、画像・音声認識、自然言語処理、ロジック処理などあらゆる形態でAI・MLを活用しています。 三菱UFJ銀行をはじめとする事業部門と至近距離で協働し、ビジネス理解及びデータ分析タスクの設定、モデル構築を主体的に推進し、MUFGのビジネス変革・デジタライゼーション(DX)に大きく貢献いただける方を募集しています。 【業務内容】 (雇入れ直後) ・データ分析テーマの選定、データ分析プロジェクトの企画・推進 ・データ分析業務(設計・構築、データ解析、可視化、データ分析結果の評価等)を通じた業務革新・効率化 ・AIや機械学習を用いたモデル実装、運用を通じた銀行業務高度化 ・データの構造化・加工・分析処理等のデータエンジニアリング ・生成系AIの活用推進・分析への活用 (変更の範囲) 会社の定める業務 【業務内容】※補足 ・データ分析・AIモデル開発に加え、企画〜運用まで一貫して関与 ・ビジネス部門と連携し、課題設定から価値創出まで担うプロジェクト推進 ・不正検知、マーケティング、業務効率化など多様なテーマに対応 ・大規模データ(数千万件規模)を活用した分析・開発 ・MLOps等を用いたモデル運用・改善の高度化 【役割・責任】 ・MUFG事業部門と協働し、ビジネス課題からデータ分析タスクの抽出、評価基準を設定 ・データの前処理、モデル構築、モデル評価 ・業務特性を鑑みてモデルの運用、評価基準を設定および最適なシステムアーキテクチャを検討する ・当該領域の高い知識とスキルを持つプロフェッショナルとして、組織全体のデータサイエンスやデータエンジニアリングに関するスキル・知識の啓蒙・伝搬を担う。 ・開発エンジニアチームに対する技術的なリーダーシップ提供(ツール・インフラ整備・利用指南・コードレビュー・設計等)、およびコーチング・メンタリング。 【配属想定部署】 データサイエンス部(グループ事業部門・デジタルイノベーション本部配下) 【配属想定部署概要】 ・AI/データサイエンス推進に係る企画・推進・管理・取り纏め(※銀行と協働) ・AI/データサイエンスの人材開発、体制整備 ・データ分析業務 【配属想定部署の人員構成】 約50名が在籍。 若手社員から中堅社員まで幅広く在籍。 ・20代-30代のメンバーが大半 【おもな関係者】 各業務を所管するMUFG事業部門、社内開発チーム、外部企業等と、マネジメント層・メンバーを問わず、連携いただきます。 また、社内やMUFG全体に対する啓蒙活動や情報発信等を担っていただくため、社内マネジメントとの連携やレポーティング機会も多くあります。 学術機関、外部コミュニティ等との連携も積極的に実施いただきます。 【想定担当案件(例)】 銀行各部門の様々な業務に関連するデータ分析を行っていただきますが、以下のようなプロジェクトに携わっていただきます。 ・セールス部署への顧客動向分析、レコメンデーション提供 ・自然言語処理等を活用した銀行業務高度化 ・生成系AI活用案件 ・金融サービスに係わる不正検知 【インタビュー記事】 https://www.it.mufg.jp/recruiting/career/work/projects.html ・データサイエンス部：[データサイエンスで推進するMUFGのビジネス変革](https://www.bizreach.jp/job-feed/public-advertising/rgpw7g8/)

ミッション 「テクノロジーの力で産業構造を変革する」 お客様の抱える経営課題/事業課題を、機械学習(LLM含む)・統計・数理最適などデータサイエンスの力を駆使することで根本から解決へ導きます。 そのために、本ポジションでは、プロジェクトマネージャなどのビジネスサイドやエンジニアと密に連携しながら、要件定義・技術選定・モデル開発・運用まで、一連の流れを率いていただきます。 また、組織全体のパフォーマンスを最大化するため、メンバー育成やカルチャー醸成など多方面でリーダーシップを発揮し、ABEJAが描く未来を共に創っていただきます。 業務内容 プロジェクトマネージャやエンジニアと連携しながら、様々なデータサイエンス技術を駆使して、お客様の経営課題/事業課題を解決に導いていただくポジションです。 グループ全体のアウトプットが顧客満足に繋がるよう、シニアメンバーと共にその品質向上に務め、価値提供に向けて必要なアクションを取っていただきます。 ●データ分析、モデル作成データ要件の整理、技術スタック選定 ・データの前処理、EDA、可視化 ・最適な手法の調査・選定 ・モデルの作成、精度・性能評価 ・ディープラーニングを含む機械学習(画像・自然言語・構造化データ) ・大規模言語モデル(LLM)の活用(学習、推論含む) ・統計解析・因果推論などの統計モデリング ・数理最適化などの数理モデリング ●エンジニアと連携したモデルの商用実装 ・定期的なモデルのパフォーマンス評価、パフォーマンスの維持・向上(ML ops / LLM ops) ●提案活動、提案内容レビュー ・受注前のプロジェクトにおける顧客との折衝、プロジェクトの要件整理 ・整理した要件に基づく、提案内容のレビュー、実現可否判断 ・提案を魅力的にするための最新技術知見を踏まえた示唆だし ●技術の横展開・技術ブランディング ・実装ロジックの汎用化およびプロダクト化 ・技術ナレッジの公開(論文投稿・学会発表・勉強会登壇・Meetup、テックブログ等)