MLopsエンジニア(Spark)の求人・転職情報

業務概要 顧客企業と伴走しながら、生成AIや機械学習を組み込んだアプリケーション/システムの設計〜開発〜運用までを担当します。 <主な業務例> ・生成AIを組み込んだAIエージェントアプリケーションの開発 ・生成AIアプリケーション/システムのLLMOps/AgentOps設計・開発 ・機械学習PoCプロジェクトの本番化/製品化に向けての開発 ・機械学習アプリケーション/システムのMLOps設計・開発 ・機械学習アプリケーション/システムの新規技術・サービス調査検証 ※詳細は面接時に説明します。 プロジェクト事例 AI自動発注システム 未来型無人化店舗「SECURE AI STORE LAB」開発 技術スタック 言語:Python、SQL、Scala、Java DWH:Snowflake、BigQuery、Redshift データ基盤:Databricks、Spark、Presto、Hadoop BIツール:Tableau、Looker、PowerBI、Datorama、DOMOなど クラウド:AWS、GCP、Azure ETL/ELTツール: dbt、Fivetran、trocco、Airbyte、Talend、AWS Glue AIフレームワーク:VertexAI、SageMaker、AzureML IaCツール:Terraform、CloudFormation、Ansible

車載向けエッジモデルおよび机上評価用の大規模モデル開発を支える MLOps 基盤の構築・運用 をお任せいたします。 <具体的には> 膨大な量の運転データを効率的に活用するための計算基盤とモデル学習・評価パイプラインの構築、データの質と量でモデル改善に貢献するデータセットのキュレーション、モデル分析を支援するBIツール環境の整備など、ML エンジニア/MLリサーチャーの開発を加速する仕組みづくりを行っていただきます。 【業務遂行いただくうえで必要になる技術例】 ・クラウド/オンプレミス上における学習・評価パイプライン(MLOps)の設計・構築および保守・運用 ・大規模データ学習の高速化を目的とした計算基盤・分散処理・アルゴリズム最適化の検討と実行 ・データセットのキュレーション(バランス設計、データリーク防止、品質管理)およびデータセット生成パイプラインの構築 ・データやモデル評価指標を統合的に可視化する BI ツール環境の設計・構築 【使用するツール】 ※状況により柔軟に変わります ・開発言語/データ操作言語:Python、SQL ・クラウド:GCP、AWS ・OS:Linux、Windows ・深層学習フレームワーク:TensorFlow(Keras)、PyTorch ・実験管理/設定/可視化:MLflow、Hydra、TensorBoard ・MLプラットフォーム/パイプライン:Vertex AI、SageMaker ・CI/CD:GCP Cloud Build、AWS CodeBuild、AWS CodePipeline ・データETL/分散処理:Dataflow、EMR(Spark/Hadoop) ・データ分析:BigQuery、Amazon Redshift ・BIツール:Looker Studio、Amazon QuickSight ・オーケストレーション:Apache Airflow、Amazon MWAA ・コンテナ:Docker ・その他:GitLab、Confluence、Jira、Teams 【変更の範囲】 会社の定める業務(※) (※)業務の都合によっては会社外の職務に従事するため出向又は転属を命じることがあります。

お客さまのデータ利活用のため、データ分析基盤の構築、BI レポートの開発を行います。 データ分析基盤構築では、主に Microsoft Azure の製品を用いたデータの統合・蓄積・加工を担う一連のシステム群の要件定義から構築・開発、保守・運用を行います。 BI レポート開発では、Microsoft Power BI を用いた BI レポートの要件定義から開発、保守・運用を行います。 分析基盤構築や BI レポートの導入を検討中のお客さまに対する提案や BI レポートのモックアップ開発などを行います。 【具体的な業務内容】 ■データ分析基盤構築の提案・デリバリー・保守運用・教育 ・Azure RDB などを用いたデータ分析基盤の構築 ・Azure Synapse Analytics や Azure Databricks などを用いたビックデータ分析基盤の構築 ・Azure Data Factory などを利用した ETL 機能の開発 ・Azure Cognitive Services や Azure Machine Learning などを用いた AI 機能構築 ・AWS、オンプレミスでの Hadoop、Snowflake などを使ったデータパイプラインの実装 ■BI レポート開発の提案・デリバリー・保守運用・教育 ・データ分析基盤に蓄積されたデータを可視化するための BI レポートの開発 <プロジェクト事例> ・大手総合商社:BS / PL などデータを収集・蓄積するデータ分析基盤構築、Power BI レポートの開発 ・外資系衣料系ブランド:在庫/売上の把握などのデータ分析基盤の構築、Power BI レポートの開発 ・大手消費財メーカー:社員の働き方の見える化のため Power BI レポートの開発 ・大手出版社:各店舗 POS ・ Web 販売データを収集・蓄積するデータ分析基盤構築と Power BI レポートの開発

データサイエンティストやAIエンジニアと連携し、下記の業務を担当いただきます。 ●ML基盤の設計・構築・運用 ・AWS,GCP,Azure等を用いたMLインフラの設計・運用 ・PythonコードやMLモデルのDockerイメージ作成、最適化 ・Kubernetes (EKS/GKE/AKS)による本番環境のコンテナオーケストレーション ・Terraform/CloudFormationによるインフラ構成管理 ・コスト見積もり・最適 ●MLOpsパイプライン構築・運用 ・CI/CDパイプライン(GitHub Actions等)設計・運用 ・Airflow, Kubeflow, VertexAI/SageMaker Pipelines等によるMLパイプライン自動化 ・MLflow等による実験管理・モデルレジストリ運用 ●モデルデプロイ・監視 ・ KServe, SageMaker Endpoint等によるモデルAPIデプロイ ・prometheus, Grafana, Datadog等を活用したシステム・モデルのモニタリング ・モデル性能(レイテンシ、精度等)の監視・ロギング・アラート設計 ・再学習サイクルの自動化と改善提案 【主なクライアント】 ・国内の金融業、製造業、流通業、等々多岐にわたる大手企業がクライアントです。 ・大手飲料メーカー、大手通信キャリア、大手自動車会社、大手電力会社、大手保険会社、大手信託銀行、大手航空会社、大手家電メーカー　等

【ポジション概要】 世界有数の金融グループであるMUFG(S&Pグローバル,2020年4月)は、3,400万人の個人、100万社の法人のお客さま(MUFGレポート,2024年)のお取引情報をはじめとする膨大なデータを活用し、店舗におけるお客様対応・事務、本部バックオフィス業務も含めた多岐にわたる業務の高度化・効率化のため、画像・音声認識、自然言語処理、ロジック処理などあらゆる形態でAI・MLを活用しています。 三菱UFJ銀行をはじめとする事業部門と至近距離で協働し、ビジネス理解及びデータ分析タスクの設定、モデル構築を主体的に推進し、MUFGのビジネス変革・デジタライゼーション(DX)に大きく貢献いただける方を募集しています。 【業務内容】 (雇入れ直後) ・データ分析テーマの選定、データ分析プロジェクトの企画・推進 ・データ分析業務(設計・構築、データ解析、可視化、データ分析結果の評価等)を通じた業務革新・効率化 ・AIや機械学習を用いたモデル実装、運用を通じた銀行業務高度化 ・データの構造化・加工・分析処理等のデータエンジニアリング ・生成系AIの活用推進・分析への活用 (変更の範囲) 会社の定める業務 【業務内容】※補足 ・データ分析・AIモデル開発に加え、企画〜運用まで一貫して関与 ・ビジネス部門と連携し、課題設定から価値創出まで担うプロジェクト推進 ・不正検知、マーケティング、業務効率化など多様なテーマに対応 ・大規模データ(数千万件規模)を活用した分析・開発 ・MLOps等を用いたモデル運用・改善の高度化 【役割・責任】 ・データ分析案件の担当者として、MUFGの事業部門と協働しビジネス課題からデータ分析タスクの抽出、評価基準策定を支援。 ・データの探索、前処理、モデル構築、モデル評価、プロダクションで稼働しているAIモデルの保守運用 ・エンジニアチームに対する技術的なリーダーシップ提供(ツール・インフラ整備・利用指南・コードレビュー・設計等)、およびコーチング・メンタリング。 【配属想定部署】 データサイエンス部(グループ事業部門・デジタルイノベーション本部配下) 【配属想定部署概要】 ・AI/データサイエンス推進に係る企画・推進・管理・取り纏め(※銀行と協働) ・AI/データサイエンスの人材開発、体制整備 ・データ分析業務 【配属想定部署の人員構成】 約50名が在籍。 若手社員から中堅社員まで幅広く在籍。 ・2022年度、2023年度の中途採用者約10名在籍しており、中途採用者も活躍中 ・20代のメンバーが約4割程度 【おもな関係者】 各業務を所管するMUFG事業部門、社内開発チーム、外部企業等と、マネジメント層・メンバーを問わず、連携いただきます。 また、社内やMUFG全体に対する啓蒙活動や情報発信等を担っていただくため、社内マネジメントとの連携やレポーティング機会も多くあります。 学術機関、外部コミュニティ等との連携も積極的に実施いただきます。 【想定担当案件(例)】 銀行各部門の様々な業務に関連するデータ分析を行っていただきますが、以下のようなプロジェクトに携わっていただきます。 ・セールス部署への顧客動向分析、レコメンデーション提供 ・自然言語処理等を活用した銀行業務高度化 ・生成系AI活用案件 ・金融サービスに係わる不正検知 【インタビュー記事】 https://www.it.mufg.jp/recruiting/career/work/projects.html ・データサイエンス部：[データサイエンスで推進するMUFGのビジネス変革](https://www.bizreach.jp/job-feed/public-advertising/rgpw7g8/)

ミッション 「ロボットとクラウドを繋ぐ堅牢な基盤を構築し、大規模ロボット基盤モデル開発を加速させる」 まずは、ロボット実機、オンプレミス環境、クラウド基盤、大規模データパイプラインを安定的につなぐインフラ/基盤の中核を担っていただきます。 その上で、研究者やプロダクト開発チームと協働しながら、データを使える形にするアプリケーションやUIへと役割を広げていくことを期待しています。 業務内容 ●主に担っていただく領域(インフラ軸) ・ハイブリッドクラウド/オンプレミス環境の設計・構築・運用 └ロボット実機、オンプレミス環境(ストレージ・GPUサーバー)、クラウド(AWS等)を跨ぐインフラ/データ基盤のアーキテクチャ設計ネットワーク、セキュリティ、データ転送の最適化 ・技術選定・技術検証・プロトタイプ開発・MVP構築 └仕様が固まっていない段階から、動くものを素早く作り検証する ●将来的に期待する役割(フルスタック方向) ・ロボット操作・管理に関わるWebアプリケーション開発 └ロボット管理・遠隔操作・データ可視化等の画面 └フロントエンド(React / TypeScript) └バックエンド(Go / Python) ・大規模データ基盤の設計・運用(★他メンバーと協働) └ロボット由来の非構造化データを扱うデータパイプライン設計 └ワークフローエンジン(Airflow , Dagster)を用いたワークフロー定義 └学習・分析用途に耐えうるデータレイアウト・クエリ基盤の構築 └データ処理基盤の信頼性担保、監視系の構築 ※アプリケーション領域については、入社時点での深い経験は必須ではありません。 インフラを主軸としつつ、関心や強みに応じて段階的に広げていくことを想定しています。 ●変更の範囲 会社の定める業務へ配置転換の可能性あり

ミッション 「テクノロジーの力で産業構造を変革する」 お客様の抱える経営課題/事業課題を、機械学習(LLM含む)・統計・数理最適などデータサイエンスの力を駆使することで根本から解決へ導きます。 そのために、本ポジションでは、プロジェクトマネージャなどのビジネスサイドやエンジニアと密に連携しながら、要件定義・技術選定・モデル開発・運用まで、一連の流れを率いていただきます。 また、組織全体のパフォーマンスを最大化するため、メンバー育成やカルチャー醸成など多方面でリーダーシップを発揮し、ABEJAが描く未来を共に創っていただきます。 業務内容 プロジェクトマネージャやエンジニアと連携しながら、様々なデータサイエンス技術を駆使して、お客様の経営課題/事業課題を解決に導いていただくポジションです。 グループ全体のアウトプットが顧客満足に繋がるよう、シニアメンバーと共にその品質向上に務め、価値提供に向けて必要なアクションを取っていただきます。 ●データ分析、モデル作成データ要件の整理、技術スタック選定 ・データの前処理、EDA、可視化 ・最適な手法の調査・選定 ・モデルの作成、精度・性能評価 ・ディープラーニングを含む機械学習(画像・自然言語・構造化データ) ・大規模言語モデル(LLM)の活用(学習、推論含む) ・統計解析・因果推論などの統計モデリング ・数理最適化などの数理モデリング ●エンジニアと連携したモデルの商用実装 ・定期的なモデルのパフォーマンス評価、パフォーマンスの維持・向上(ML ops / LLM ops) ●提案活動、提案内容レビュー ・受注前のプロジェクトにおける顧客との折衝、プロジェクトの要件整理 ・整理した要件に基づく、提案内容のレビュー、実現可否判断 ・提案を魅力的にするための最新技術知見を踏まえた示唆だし ●技術の横展開・技術ブランディング ・実装ロジックの汎用化およびプロダクト化 ・技術ナレッジの公開(論文投稿・学会発表・勉強会登壇・Meetup、テックブログ等)

スマホアプリケーション上で展開されるコンテンツを出力するAIモデルの運用保守および改善開発をご担当いただきます。 当該のAIモデルはGCP上に展開されており、これらに関して運用をご担当いただきます。 AIモデルにエラーが発生した場合にはその保守対応についてもご担当いただきます。 AIモデルの実行結果について、効果測定を定期的に実施してデータの取りまとめをご担当いただきます。 またクライアントから要望のあった場合に、モデル改善の実装をご担当いただきます。

●業務概要 顧客企業と伴走しながら、生成AIや機械学習を組み込んだアプリケーションの設計〜開発〜運用までを担当します。 ●<主な業務例> ・生成AIを組み込んだAIエージェントアプリケーションの開発 ・生成AIアプリケーション/システムのLLMOps/AgentOps設計・開発 ・機械学習アプリケーション/システムのMLOps設計・開発 ・機械学習アプリケーション/システムの新規技術・サービス調査検証 ※詳細は面接時に説明します。 ●プロジェクト事例 AI自動発注システム 未来型無人化店舗「SECURE AI STORE LAB」開発　 ●技術スタック 言語:Python、SQL、Scala、Java DWH:Snowflake、BigQuery、Redshift データ基盤:Databricks、Spark、Presto、Hadoop BIツール:Tableau、Looker、PowerBI、Datorama、DOMOなど クラウド:AWS、GCP、Azure ETL/ELTツール: dbt、Fivetran、trocco、Airbyte、Talend、AWS Glue AIフレームワーク:VertexAI、SageMaker、AzureML IaCツール:Terraform、CloudFormation、Ansible