401k（確定拠出年金）あり SparkのITエンジニア求人・転職情報

DATUM STUDIO株式会社

業務概要 顧客企業と伴走しながら、生成AIや機械学習を組み込んだアプリケーション/システムの設計〜開発〜運用までを担当します。 <主な業務例> ・生成AIを組み込んだAIエージェントアプリケーションの開発 ・生成AIアプリケーション/システムのLLMOps/AgentOps設計・開発 ・機械学習PoCプロジェクトの本番化/製品化に向けての開発 ・機械学習アプリケーション/システムのMLOps設計・開発 ・機械学習アプリケーション/システムの新規技術・サービス調査検証 ※詳細は面接時に説明します。 プロジェクト事例 AI自動発注システム 未来型無人化店舗「SECURE AI STORE LAB」開発 技術スタック 言語:Python、SQL、Scala、Java DWH:Snowflake、BigQuery、Redshift データ基盤:Databricks、Spark、Presto、Hadoop BIツール:Tableau、Looker、PowerBI、Datorama、DOMOなど クラウド:AWS、GCP、Azure ETL/ELTツール: dbt、Fivetran、trocco、Airbyte、Talend、AWS Glue AIフレームワーク:VertexAI、SageMaker、AzureML IaCツール:Terraform、CloudFormation、Ansible

DATUM STUDIO株式会社

機械学習や統計モデリング、データ分析を活用して、お客様のビジネスに持続的成長と新しい可能性を創出するミッションに対し、プロジェクトマネージャーとして推進いただきます。 仮説の設定から必要データの入手・確認、分析手法の選定、検証を行うだけでなく、分析結果を元に、より深い分析計画や施策の改善提案等も行います。 また、プロジェクトの推進にあたっては、データ基盤の設計・開発・運用も担当いただきます。 プロジェクト事例 ●製造業向け機器の故障予測モデル開発 ●機械学習を用いたオークション落札価格の予測 ●金融業向け生成AIを活用した業務効率化 技術環境 言語:Python、SQL、Scala、Java DWH:Snowflake、BigQuery、Redshift データ基盤:Databricks、Spark、Presto、Hadoop BIツール:Tableau、Looker、PowerBI、Datorama、DOMOなど クラウド:AWS、GCP、Azure ETL/ELTツール: dbt、Fivetran、trocco、Airbyte、Talend、AWS Glue AIフレームワーク:VertexAI、SageMaker、AzureML IaCツール:Terraform、CloudFormation、Ansible

ソフトバンク株式会社

【ミッション】 「ソフトバンクの持続的成長・ビジネススピードの加速に貢献する」をミッションとし、安定したサービス提供とAIなどを活用した生産性向上を実現し、ビジネス部門を巻き込み、革新的なサービスを生み出すことを目標としています。 【主な業務】 ・通信事業におけるビジネスパートナー精算システムの開発 ・業務分析/要件定義から開発リリースまでの一連の工程のシステム開発と保守や、社内横断的なプロジェクトの遂行や業務企画推進、新たなIT技術の推進や導入検討 【具体的な業務】 ソフトバンクサービスにおけるビジネスパートナー精算などのバックヤード系システムをご担当いただきます。 ・社内システムにおける設計、開発、テストの実施 ※新システムの内製化を目指しており、入社後は本チームでの開発業務が中心になる想定です。 【環境】 プログラミング言語: Java, SQL フレームワーク: Spring Boot, Apache Beam 分散処理・クエリ基盤: Apache Flink, Trino データストア: Apache Iceberg (on HDFS), MySQL, Hive インフラ・環境: 仮想環境(Linux / MIRACLE LINUX) コンテナ・オーケストレーション: Docker, Kubernetes CI/CD・ビルド: GitLab CI/CD, Jenkins, Maven

日本ビジネスシステムズ株式会社

お客さまのデータ利活用のため、データ分析基盤の構築、BI レポートの開発を行います。 データ分析基盤構築では、主に Microsoft Azure の製品を用いたデータの統合・蓄積・加工を担う一連のシステム群の要件定義から構築・開発、保守・運用を行います。 BI レポート開発では、Microsoft Power BI を用いた BI レポートの要件定義から開発、保守・運用を行います。 分析基盤構築や BI レポートの導入を検討中のお客さまに対する提案や BI レポートのモックアップ開発などを行います。 【具体的な業務内容】 ■データ分析基盤構築の提案・デリバリー・保守運用・教育 ・Azure RDB などを用いたデータ分析基盤の構築 ・Azure Synapse Analytics や Azure Databricks などを用いたビックデータ分析基盤の構築 ・Azure Data Factory などを利用した ETL 機能の開発 ・Azure Cognitive Services や Azure Machine Learning などを用いた AI 機能構築 ・AWS、オンプレミスでの Hadoop、Snowflake などを使ったデータパイプラインの実装 ■BI レポート開発の提案・デリバリー・保守運用・教育 ・データ分析基盤に蓄積されたデータを可視化するための BI レポートの開発 <プロジェクト事例> ・大手総合商社:BS / PL などデータを収集・蓄積するデータ分析基盤構築、Power BI レポートの開発 ・外資系衣料系ブランド:在庫/売上の把握などのデータ分析基盤の構築、Power BI レポートの開発 ・大手消費財メーカー:社員の働き方の見える化のため Power BI レポートの開発 ・大手出版社:各店舗 POS ・ Web 販売データを収集・蓄積するデータ分析基盤構築と Power BI レポートの開発

三菱UFJインフォメーションテクノロジー株式会社

【ポジション概要】 世界有数の金融グループであるMUFG(S&Pグローバル,2020年4月)は、3,400万人の個人、100万社の法人のお客さま(MUFGレポート,2024年)のお取引情報をはじめとする膨大なデータを活用し、店舗におけるお客様対応・事務、本部バックオフィス業務も含めた多岐にわたる業務の高度化・効率化のため、画像・音声認識、自然言語処理、ロジック処理などあらゆる形態でAI・MLを活用しています。 三菱UFJ銀行をはじめとする事業部門と至近距離で協働し、ビジネス理解及びデータ分析タスクの設定、モデル構築を主体的に推進し、MUFGのビジネス変革・デジタライゼーション(DX)に大きく貢献いただける方を募集しています。 【業務内容】 (雇入れ直後) ・データ分析テーマの選定、データ分析プロジェクトの企画・推進 ・データ分析業務(設計・構築、データ解析、可視化、データ分析結果の評価等)を通じた業務革新・効率化 ・AIや機械学習を用いたモデル実装、運用を通じた銀行業務高度化 ・データの構造化・加工・分析処理等のデータエンジニアリング ・生成系AIの活用推進・分析への活用 (変更の範囲) 会社の定める業務 【業務内容】※補足 ・データ分析・AIモデル開発に加え、企画〜運用まで一貫して関与 ・ビジネス部門と連携し、課題設定から価値創出まで担うプロジェクト推進 ・不正検知、マーケティング、業務効率化など多様なテーマに対応 ・大規模データ(数千万件規模)を活用した分析・開発 ・MLOps等を用いたモデル運用・改善の高度化 【役割・責任】 ・データ分析案件の担当者として、MUFGの事業部門と協働しビジネス課題からデータ分析タスクの抽出、評価基準策定を支援。 ・データの探索、前処理、モデル構築、モデル評価、プロダクションで稼働しているAIモデルの保守運用 ・エンジニアチームに対する技術的なリーダーシップ提供(ツール・インフラ整備・利用指南・コードレビュー・設計等)、およびコーチング・メンタリング。 【配属想定部署】 データサイエンス部(グループ事業部門・デジタルイノベーション本部配下) 【配属想定部署概要】 ・AI/データサイエンス推進に係る企画・推進・管理・取り纏め(※銀行と協働) ・AI/データサイエンスの人材開発、体制整備 ・データ分析業務 【配属想定部署の人員構成】 約50名が在籍。 若手社員から中堅社員まで幅広く在籍。 ・2022年度、2023年度の中途採用者約10名在籍しており、中途採用者も活躍中 ・20代のメンバーが約4割程度 【おもな関係者】 各業務を所管するMUFG事業部門、社内開発チーム、外部企業等と、マネジメント層・メンバーを問わず、連携いただきます。 また、社内やMUFG全体に対する啓蒙活動や情報発信等を担っていただくため、社内マネジメントとの連携やレポーティング機会も多くあります。 学術機関、外部コミュニティ等との連携も積極的に実施いただきます。 【想定担当案件(例)】 銀行各部門の様々な業務に関連するデータ分析を行っていただきますが、以下のようなプロジェクトに携わっていただきます。 ・セールス部署への顧客動向分析、レコメンデーション提供 ・自然言語処理等を活用した銀行業務高度化 ・生成系AI活用案件 ・金融サービスに係わる不正検知 【インタビュー記事】 https://www.it.mufg.jp/recruiting/career/work/projects.html ・データサイエンス部：[データサイエンスで推進するMUFGのビジネス変革](https://www.bizreach.jp/job-feed/public-advertising/rgpw7g8/)

三菱UFJインフォメーションテクノロジー株式会社

【ポジション概要】 世界有数の金融グループであるMUFG(S&Pグローバル,2020年4月)は、3,400万人の個人、100万社の法人のお客さま(MUFGレポート,2024年)のお取引情報をはじめとする膨大なデータを活用し、店舗におけるお客様対応・事務、本部バックオフィス業務も含めた多岐にわたる業務の高度化・効率化のため、画像・音声認識、自然言語処理、ロジック処理などあらゆる形態でAI・MLを活用しています。 三菱UFJ銀行をはじめとする事業部門と至近距離で協働し、ビジネス理解及びデータ分析タスクの設定、モデル構築を主体的に推進し、MUFGのビジネス変革・デジタライゼーション(DX)に大きく貢献いただける方を募集しています。 【業務内容】 (雇入れ直後) ・データ分析テーマの選定、データ分析プロジェクトの企画・推進 ・データ分析業務(設計・構築、データ解析、可視化、データ分析結果の評価等)を通じた業務革新・効率化 ・AIや機械学習を用いたモデル実装、運用を通じた銀行業務高度化 ・データの構造化・加工・分析処理等のデータエンジニアリング ・生成系AIの活用推進・分析への活用 (変更の範囲) 会社の定める業務 【業務内容】※補足 ・データ分析・AIモデル開発に加え、企画〜運用まで一貫して関与 ・ビジネス部門と連携し、課題設定から価値創出まで担うプロジェクト推進 ・不正検知、マーケティング、業務効率化など多様なテーマに対応 ・大規模データ(数千万件規模)を活用した分析・開発 ・MLOps等を用いたモデル運用・改善の高度化 【役割・責任】 ・MUFG事業部門と協働し、ビジネス課題からデータ分析タスクの抽出、評価基準を設定 ・データの前処理、モデル構築、モデル評価 ・業務特性を鑑みてモデルの運用、評価基準を設定および最適なシステムアーキテクチャを検討する ・当該領域の高い知識とスキルを持つプロフェッショナルとして、組織全体のデータサイエンスやデータエンジニアリングに関するスキル・知識の啓蒙・伝搬を担う。 ・開発エンジニアチームに対する技術的なリーダーシップ提供(ツール・インフラ整備・利用指南・コードレビュー・設計等)、およびコーチング・メンタリング。 【配属想定部署】 データサイエンス部(グループ事業部門・デジタルイノベーション本部配下) 【配属想定部署概要】 ・AI/データサイエンス推進に係る企画・推進・管理・取り纏め(※銀行と協働) ・AI/データサイエンスの人材開発、体制整備 ・データ分析業務 【配属想定部署の人員構成】 約50名が在籍。 若手社員から中堅社員まで幅広く在籍。 ・20代-30代のメンバーが大半 【おもな関係者】 各業務を所管するMUFG事業部門、社内開発チーム、外部企業等と、マネジメント層・メンバーを問わず、連携いただきます。 また、社内やMUFG全体に対する啓蒙活動や情報発信等を担っていただくため、社内マネジメントとの連携やレポーティング機会も多くあります。 学術機関、外部コミュニティ等との連携も積極的に実施いただきます。 【想定担当案件(例)】 銀行各部門の様々な業務に関連するデータ分析を行っていただきますが、以下のようなプロジェクトに携わっていただきます。 ・セールス部署への顧客動向分析、レコメンデーション提供 ・自然言語処理等を活用した銀行業務高度化 ・生成系AI活用案件 ・金融サービスに係わる不正検知 【インタビュー記事】 https://www.it.mufg.jp/recruiting/career/work/projects.html ・データサイエンス部：[データサイエンスで推進するMUFGのビジネス変革](https://www.bizreach.jp/job-feed/public-advertising/rgpw7g8/)

ソフトバンク株式会社

【ミッション】 企業向けシステム開発において、CDP、クラウド、データ統合基盤などの最先端技術を駆使し、顧客のDX推進および業務改革を実現するためのSE支援を提供 【主な業務】 ・CDPやデータ統合基盤などの先端技術を活用した法人顧客向けシステムの提案から要件定義、実装までの各工程をリード ・プロジェクトマネジメントおよび顧客との直接交渉、調整業務 ・社内外のパートナーと連携し、システム構築および導入を促進 【具体的な業務】 ・提案・設計:顧客要件をもとにCDP、データ分析、クラウドを取り入れたシステムの提案、要件定義、設計書の作成 ・実装・開発:生成AIを含むウェブアプリケーションおよびデータ基盤の開発、ETL処理やデータ統合基盤環境のシステム実装 ・プロジェクトマネジメント:社内メンバーや協業パートナーの統括、進捗管理、品質・リスク管理、定例顧客折衝の実施 ・ドキュメント管理:提案書、設計書、計画書、テスト仕様書などの各種文書の作成および整備 ・技術調整:技術的な折衝およびトラブルシューティングによる問題解決の実施 ※全ての募集における雇い入れ後の、従事すべき業務・就業場所の変更の範囲については下記の通りとします。 ●業務の変更の範囲:会社内でのすべての業務

株式会社メドレー

医療機関・患者双方に支持されるプロダクトの品質保証を担い、開発チームと伴走しながら以下業務を推進していただきます。 ・仕様レビュー・設計段階からの品質観点の提案・改善 ・新機能開発・改修におけるテスト計画、設計、実施、バグ管理 ・API / UI / E2E テストの自動化設計・実装・運用 ・CI/CD 環境への QA プロセス組み込み、KPI 設計・モニタリング ・品質改善やチームの生産性向上に向けたプロセス最適化、ナレッジ共有各プロダクト QAメンバーとの連携、横断的な品質戦略の策定・推進 ※業務の変更の範囲:会社の定める業務

パーソルクロステクノロジー株式会社

●業務概要 パーソルグループ企業もしくは提携企業にて顧客や社内の部門に対して、お客様が保有する様々なデータを活用可能な形に処理し、データ分析のための基盤構築をお任せします。 データサイエンティスト/アナリストが行う仕事の基盤をつくり、お客様が抱える課題を解決まで導く業務となります。 ●業務詳細 ・データ収集・連携 　└外部SaaS/業務システムなど異なるソースからのデータ取り込み 　└バッチ開発やストリーミング処理 ・データ基盤の設計・構築・運用 　└DWH・DB・テーブルの設計(SQL、スキーマ、パーティショニング) 　└クラウドインフラの構築(AWS/GCP/Azure)、セキュリティ・ネットワーク設定、コスト最適化 ・データ整備・品質管理 　└ETL/ELTパイプラインの実装(dbt、Apache Kafka、Apache Spark) 　└データモデリング(スタースキーマ・Snowflake)、メタデータ管理、データカタログ整備 ・データ品質監視 　└検査ルール、データガバナンスの設定 　└アラート対応、テスト設計 ・提供・可視化支援 　└分析用マートの提供、BIツールへの接続最適化・可視化(Looker、Tableau、Power BI) ・運用・信頼性 　└パイプラインの監視・障害対応・パフォーマンスチューニング 　└Gitによる変更管理 プロジェクト例 ●Databricksを用いたデータ基盤の設計構築 <業務内容> 　・Databricks上のデータ基盤の設計/構築/検証 　・SAPのテーブルをDatabricksに連携 　・S3のテーブルをDatabricksに連携 　・ストリーミングテーブルの実装、ジョブ作成 <技術> 　Databricks, PySpark, SparkSQL, PowerBI, Git ●dbtを用いたETL、データパイプライン構築 <業務内容> 　・データパイプライン構築、フロー図作成 　・Bigqueryからのデータ抽出、データマートの設計・開発 　・ワークフローの監視 　・バッチ処理開発・運用 　・Tableauダッシュボードの設計・構築・運用 <技術> 　GCP(Bigquery,GCS), dbt, Tableau, Git

株式会社カカクコム

HRカンパニーのアナリティクスエンジニアとして、ビジネスやプロダクトの成長を加速させるため、「データ分析による課題解決」と「信頼性の高いデータ基盤の構築」の両輪を担っていただきます。 「求人ボックス」と「エンゲージ」のデータを横断的に活用し、カカクコムグループ全体のデータシナジーを生み出すことがミッションです。 ・KPI・管理指標の設計・策定、およびビジネス課題の特定と解決に向けた分析 ・BigQuery・Databricks等を活用したELT/ETLパイプラインの設計・実装・自動化 ・データモデリング・データマートの設計・構築・運用 ・ダッシュボード構築および施策のパフォーマンス管理(Looker Studio / Tableau / Redash等) ・統計的手法を用いた仮説検証・効果測定・ネクストアクションの提言 ・データ品質のモニタリング・テスト実装・アラート設計 ・DWHアーキテクチャ・データレイクハウスの設計・運用への参画 ・アナリティクスエンジニア・データサイエンティストとの協働による分析支援 ・データガバナンスの策定・推進 ・チームの技術的方向性への意見出し・合意形成 ・メンバーのタスク整理・優先度調整のサポート ・メンバーのコードレビュー・スキルアップ支援 ●利用ツール 【業務環境】 プロジェクト管理:Confluence / Jira　ソースコード管理:GitHub Enterprise　生成AIツール:Cursor / Dify コミュニケーション:Slack コラボレーション:Miro Officeツール:Google Workspace / Box / Microsoft365 端末:Windows(MacBook Proも選択可) 【開発環境・技術スタック】 データプラットフォーム:BigQuery / Databricks クラウド:Google Cloud / AWS DWH・ストレージ:BigQuery / Amazon Redshift / Amazon S3 ETL/データ連携:AWS Glue / TROCCO 言語:SQL / Python BI:Looker Studio / Tableau / Redash 他:Vertex AI / Cloud Run / GCE / Workflows / KARTE / Adjust / Google Tag Manager 等 1か月目 ・担当サービスのビジネスモデル・データ基盤の理解 ・既存の分析プロジェクト・データパイプラインの把握 ・チームメンバーとの関係構築 2か月目以降 ・新規プロジェクトの担当(小規模案件から) ・チーム内での知見共有やメンバーの育成・指導 3か月目以降 チームの中核として技術課題の整理・提言、メンバー育成・レビューを主導