フレックス勤務 SparkのITエンジニア求人・転職情報

当社は、福岡エリアの金融機関向けにITコンサルティングおよびAI活用支援をより強化すべく、2025年7月に福岡オフィスを開設いたしました。 本ポジションでは、データ基盤構築やAI活用基盤構築に関する企画や基盤設計、構築に関するプロジェクトにおいて、そのスペシャリストとして参画いただくポジションとなります。大手金融機関やそのHD様の案件がメインとなっており、そのような金融機関様のデータ活用の基礎となる大規模なデータ基盤構築に関わることができます。企画、設計、基盤普及を中心とした様々なフェーズに参画することができます。 具体的な案件例として以下のようなものがあります。当社が扱う案件のほとんどが直請の大手金融機関様との案件となっており、日本を代表する様々な企業様でのデータ分析・基盤構築の経験をすることができます。 プロジェクト体制 2名～6名程度でチーミング 具体的な業務内容 ・金融機関向けのデータ基盤およびAI活用基盤構築プロジェクトにおける、設計・開発・運用支援の実行 ・データ収集・加工・集計・クレンジングなど、分析・AI活用に向けたデータ整備処理の実装 ・PythonやSQL、Spark、Airflowなどを用いたデータパイプライン構築および運用 ・AWS/GCP/Azureなどクラウド環境上でのDWH/データレイク構築支援 ・Snowflake、Databricksなどを活用した基盤構築・性能チューニングの実施 ・データ品質向上やガバナンス観点からのモニタリング設定、改善対応 ・AI・データサイエンティストやアーキテクトと連携した分析基盤の整備 ・自社プロダクト(Trust GenGA/Trust TLanP)におけるデータ連携・検証支援 プロジェクト事例 ・証券会社様におけるデジタルマーケティング基盤の構築支援 ・金融コングロマリット様でのグループ横断データ活用基盤企画推進支援 ・カード会社様・証券会社様・信託銀行・銀行、金融HD様などでのAI人材育成の推進、データ活用CoE組織 ・銀行様におけるAutoMLツールの比較検討、導入支援 ・銀行様における市場分析モデルの開発、運用支援 ・証券会社様におけるAI活用コンサルティング支援開発支援 ・生成AI等を活用した金融事務の効率化、ビジネスプロセス変革(当社プロダクトTrust GenGAを活用) ・生成AI等を活用したレガシーシステムマイグレーション支援(当社プロダクトTrust TLanPを活用 ) ※業務変更の範囲 (雇入れ直後)IT専門職 (変更の範囲)すべての業務への配置転換あり

業務概要 顧客企業と伴走しながら、生成AIや機械学習を組み込んだアプリケーション/システムの設計〜開発〜運用までを担当します。 <主な業務例> ・生成AIを組み込んだAIエージェントアプリケーションの開発 ・生成AIアプリケーション/システムのLLMOps/AgentOps設計・開発 ・機械学習PoCプロジェクトの本番化/製品化に向けての開発 ・機械学習アプリケーション/システムのMLOps設計・開発 ・機械学習アプリケーション/システムの新規技術・サービス調査検証 ※詳細は面接時に説明します。 プロジェクト事例 AI自動発注システム 未来型無人化店舗「SECURE AI STORE LAB」開発 技術スタック 言語:Python、SQL、Scala、Java DWH:Snowflake、BigQuery、Redshift データ基盤:Databricks、Spark、Presto、Hadoop BIツール:Tableau、Looker、PowerBI、Datorama、DOMOなど クラウド:AWS、GCP、Azure ETL/ELTツール: dbt、Fivetran、trocco、Airbyte、Talend、AWS Glue AIフレームワーク:VertexAI、SageMaker、AzureML IaCツール:Terraform、CloudFormation、Ansible

機械学習や統計モデリング、データ分析を活用して、お客様のビジネスに持続的成長と新しい可能性を創出するミッションに対し、プロジェクトマネージャーとして推進いただきます。 仮説の設定から必要データの入手・確認、分析手法の選定、検証を行うだけでなく、分析結果を元に、より深い分析計画や施策の改善提案等も行います。 また、プロジェクトの推進にあたっては、データ基盤の設計・開発・運用も担当いただきます。 プロジェクト事例 ●製造業向け機器の故障予測モデル開発 ●機械学習を用いたオークション落札価格の予測 ●金融業向け生成AIを活用した業務効率化 技術環境 言語:Python、SQL、Scala、Java DWH:Snowflake、BigQuery、Redshift データ基盤:Databricks、Spark、Presto、Hadoop BIツール:Tableau、Looker、PowerBI、Datorama、DOMOなど クラウド:AWS、GCP、Azure ETL/ELTツール: dbt、Fivetran、trocco、Airbyte、Talend、AWS Glue AIフレームワーク:VertexAI、SageMaker、AzureML IaCツール:Terraform、CloudFormation、Ansible

車載向けエッジモデルおよび机上評価用の大規模モデル開発を支える MLOps 基盤の構築・運用 をお任せいたします。 <具体的には> 膨大な量の運転データを効率的に活用するための計算基盤とモデル学習・評価パイプラインの構築、データの質と量でモデル改善に貢献するデータセットのキュレーション、モデル分析を支援するBIツール環境の整備など、ML エンジニア/MLリサーチャーの開発を加速する仕組みづくりを行っていただきます。 【業務遂行いただくうえで必要になる技術例】 ・クラウド/オンプレミス上における学習・評価パイプライン(MLOps)の設計・構築および保守・運用 ・大規模データ学習の高速化を目的とした計算基盤・分散処理・アルゴリズム最適化の検討と実行 ・データセットのキュレーション(バランス設計、データリーク防止、品質管理)およびデータセット生成パイプラインの構築 ・データやモデル評価指標を統合的に可視化する BI ツール環境の設計・構築 【使用するツール】 ※状況により柔軟に変わります ・開発言語/データ操作言語:Python、SQL ・クラウド:GCP、AWS ・OS:Linux、Windows ・深層学習フレームワーク:TensorFlow(Keras)、PyTorch ・実験管理/設定/可視化:MLflow、Hydra、TensorBoard ・MLプラットフォーム/パイプライン:Vertex AI、SageMaker ・CI/CD:GCP Cloud Build、AWS CodeBuild、AWS CodePipeline ・データETL/分散処理:Dataflow、EMR(Spark/Hadoop) ・データ分析:BigQuery、Amazon Redshift ・BIツール:Looker Studio、Amazon QuickSight ・オーケストレーション:Apache Airflow、Amazon MWAA ・コンテナ:Docker ・その他:GitLab、Confluence、Jira、Teams 【変更の範囲】 会社の定める業務(※) (※)業務の都合によっては会社外の職務に従事するため出向又は転属を命じることがあります。

【お任せする業務】 ・ビジネス部門(企画、設計、開発、製造)と連携した、真の課題抽出とビジネスフローの再構築 ・先端IT/AIを活用したソリューションの提案、プロトタイプ開発、PoCの実施 ・コンサルタントやSIerと協働した本番環境への実装 【具体的な仕事内容】 ・OSSや先端IT/AI技術の調査(インターネットでの情報収集、各種カンファレンス・展示会への参加、コンサルやSIerへのヒアリング) ・ユーザ業務の理解と、ユーザとのディスカッションを通じた真の課題の抽出 ・抽出した課題を解決するためのシステムビジョンおよびコンセプトの策定 ・システムアーキテクチャの策定と実装方法の検討 ・プロトタイプ開発および検証、PoCの実施 ・コンサルやSIerと協働した本番システムの構築 ※当ポジションは、IT/AIの技術力を自ら高めながら、システムアーキテクチャの設計からプロトタイプ開発、PoCの実施までを自社主導で推進できる環境です。 [従事すべき業務の変更の範囲] (雇入れ直後)上記の通り (変更の範囲)その他会社が指示する業務

【お任せする業務】 OSSを用いたビッグデータ活用システムの開発の下記のうちいずれかをご担当いただきます。 ●ビッグデータ×内製AIシステムのプラットフォーム&アプリのアジャイル開発リーダー ●装置センサーデータの収集・可視化を行う内製システムのITアーキテクト兼アジャイル開発リーダー 【具体的な仕事内容】 ●ビッグデータ×内製AIシステムのプラットフォーム&アプリのアジャイル開発リーダー [役割] ユーザ部門・アナリティクスチームと連携し、アジャイル開発を推進。価値が出るまで伴走します。 [業務内容] ・バックログ作成、スプリント運営、設計～開発～テスト～リリース～運用改善を一気通貫でリード ・プラットフォーム戦略(共通機能の整備、CI/CD、監視・可観測性の仕組み化)を検討・実行 ・リリース後の運用管理(SLO設計、障害対応、改善提案)も担当 ●装置センサーデータの収集・可視化を行う内製システムのITアーキテクト兼アジャイル開発リーダー [役割] ユーザ部門と調整し、システム要件や設計を決定。現場と同じ目線で最適解を導きます。 [業務内容] ・データパイプライン(収集→ストリーム処理→蓄積→可視化)の設計・開発・運用 ・リリース後のダッシュボード改善、アラート設計、性能チューニング ・チームを率いて短サイクルで価値リリース→効果測定→改善を回す [従事すべき業務の変更の範囲] (雇入れ直後)上記の通り (変更の範囲)その他会社が指示する業務 【言語】 Python、SQL、Java、JavaScript、VBA 【環境】 Linux 【技術】 Web:React、FastAPI ビッグデータ: Hadoop、HBase、Hive、Spark 時系列データ処理: Flink、Kafka、時系列データベース(DB) 生成AI:生成AI/RAG活用技術

データ基盤の新潮流である「Databricks」の登場により、AIを活用したデータ分析が企業にとってより身近な存在となりました。本ポストではデータエンジニア/クラウドエンジニア/PMとして、Databricksの導入によるデータ基盤開発や顧客企業のデータ利活用の促進業務を担っています。業務を通して、データ活用の各工程に関するコンサルティングから開発・運用まで携わることができ、AI・データ領域のトップエンジニアを目指すことができる点が本ポストの魅力です。 より多くの顧客へとDatabricksを導入し、「データとAIの民主化」を実現するため、プロジェクトの中心メンバーとしてリードできる課長~主任までの人財を募集します。 ●Databricksを用いた顧客のデータ活用基盤開発、データ活用を支援するため、下記の業務を担当します。 ・データ利用部門との課題定義および要件整理 ・データ基盤の設計/開発(AWS、Azure等、他のクラウドと連携したデータ基盤の設計・開発) ・データ基盤上のデータモデル設計・開発 ・データ加工処理(ETL/ELT)の設計・開発 ・データ分析を行う上で必要となるデータ可視化(BI)の設計・開発 ・AIモデルの継続的なデリバリ(MLOps)を考慮した環境の設計・開発 ●上記に加えて、顧客企業内部でのデータ活用促進/データドリブン文化の定着を目的としたユーザトレーニングも行います。 案件例 ・大手保険会社における業務改善や新規サービス開発に向けたデータ分析基盤の構築支援:企業が持つデータを集積・統合する仕組みからそれらを活用する機能の開発を支援 ・https://www.nttdata.com/jp/ja/trends/data-insight/2020/071001/ ・https://www.nttdata.com/jp/ja/-/media/nttdatajapan/files/lineup/databricks/databricks-tokyomarine.pdf?rev=a42ccbfd89154adb8b1aaf2e233a5135 キャリアパス ●下記の様なスキルを磨き、AI・データ活用領域のトップエンジニアを目指すことができます。 ・AI・データ活用領域における最先端の技術を活用したシステム開発における上流のアーキテクチャ検討 ・顧客のシステム環境に合わせたAIモデル等に関する技術的開発力 ●管理職を目指すキャリアだけでなく、テクニカルグレード(TG)と呼ばれる技術職のスペシャリストのポジションを目指すことも可能です。

三菱UFJ銀行を中心にMUFG各社と連携し、AI技術を活用した業務の効率化・高度化を実現するプロジェクトにおいて、機械学習モデルの開発および実装、保守をしていただきます。 具体的には以下のような業務があります。 ・MUFGにおけるビジネス課題解決のための機械学習モデルの開発 ・機械学習モデルとその周辺機能の実装 ・AIに関する最新技術の調査・研究 ＜プロジェクト例＞ ・市場動向分析モデルの構築 ・市場部門のフロント部署のための機械学習ツール開発 ・オルタナティブデータを用いた与信モデルの構築 ・ビジネスマッチングのマッチングアルゴリズムの開発 ＜変更の範囲＞ 業務:会社の定める業務

三菱UFJ銀行を中心にMUFG各社と連携し、AI技術を活用した業務の効率化・高度化を実現するプロジェクトにおいて、データ分析業務を担っていただきます。 具体的には以下のような業務があります。 ・MUFGにおけるビジネス課題解決のためのデータ分析や機械学習モデルの開発 ・顧客への分析結果の説明 ・AIに関する最新技術の調査・研究 ●プロジェクト例 ・市場動向分析モデルの構築 ・市場部門のフロント部署のための機械学習ツール開発 ・オルタナティブデータを用いた与信モデルの構築 ・アンチマネーロンダリング(AML)分野における分析支援 ●変更の範囲 場所:会社の定める場所(在宅勤務を行う場所を含む)

社内における、DataOps推進のためのデータ利活用するための基盤設計、データ戦略立案、データガバナンスのプランニングなどを行っていただきます。 DMBOKの思想などを理解したうえで現代のデータを元に事業が動くために必要な要件に取り組んでもらいます。 【業務詳細】 社内データ基盤のアーキテクチャ設計を主導 既存データインフラ環境の分析や、改善提案。 具体的なアプローチの提示 データガバナンスのポリシーの策定と推進 自社内のチームや他部署と連携し、データ基盤プロジェクトの推進

ミッション 「ロボットとクラウドを繋ぐ堅牢な基盤を構築し、大規模ロボット基盤モデル開発を加速させる」 まずは、ロボット実機、オンプレミス環境、クラウド基盤、大規模データパイプラインを安定的につなぐインフラ/基盤の中核を担っていただきます。 その上で、研究者やプロダクト開発チームと協働しながら、データを使える形にするアプリケーションやUIへと役割を広げていくことを期待しています。 業務内容 ●主に担っていただく領域(インフラ軸) ・ハイブリッドクラウド/オンプレミス環境の設計・構築・運用 └ロボット実機、オンプレミス環境(ストレージ・GPUサーバー)、クラウド(AWS等)を跨ぐインフラ/データ基盤のアーキテクチャ設計ネットワーク、セキュリティ、データ転送の最適化 ・技術選定・技術検証・プロトタイプ開発・MVP構築 └仕様が固まっていない段階から、動くものを素早く作り検証する ●将来的に期待する役割(フルスタック方向) ・ロボット操作・管理に関わるWebアプリケーション開発 └ロボット管理・遠隔操作・データ可視化等の画面 └フロントエンド(React / TypeScript) └バックエンド(Go / Python) ・大規模データ基盤の設計・運用(★他メンバーと協働) └ロボット由来の非構造化データを扱うデータパイプライン設計 └ワークフローエンジン(Airflow , Dagster)を用いたワークフロー定義 └学習・分析用途に耐えうるデータレイアウト・クエリ基盤の構築 └データ処理基盤の信頼性担保、監視系の構築 ※アプリケーション領域については、入社時点での深い経験は必須ではありません。 インフラを主軸としつつ、関心や強みに応じて段階的に広げていくことを想定しています。 ●変更の範囲 会社の定める業務へ配置転換の可能性あり

ミッション 「テクノロジーの力で産業構造を変革する」 お客様の抱える経営課題/事業課題を、機械学習(LLM含む)・統計・数理最適などデータサイエンスの力を駆使することで根本から解決へ導きます。 そのために、本ポジションでは、プロジェクトマネージャなどのビジネスサイドやエンジニアと密に連携しながら、要件定義・技術選定・モデル開発・運用まで、一連の流れを率いていただきます。 また、組織全体のパフォーマンスを最大化するため、メンバー育成やカルチャー醸成など多方面でリーダーシップを発揮し、ABEJAが描く未来を共に創っていただきます。 業務内容 プロジェクトマネージャやエンジニアと連携しながら、様々なデータサイエンス技術を駆使して、お客様の経営課題/事業課題を解決に導いていただくポジションです。 グループ全体のアウトプットが顧客満足に繋がるよう、シニアメンバーと共にその品質向上に務め、価値提供に向けて必要なアクションを取っていただきます。 ●データ分析、モデル作成データ要件の整理、技術スタック選定 ・データの前処理、EDA、可視化 ・最適な手法の調査・選定 ・モデルの作成、精度・性能評価 ・ディープラーニングを含む機械学習(画像・自然言語・構造化データ) ・大規模言語モデル(LLM)の活用(学習、推論含む) ・統計解析・因果推論などの統計モデリング ・数理最適化などの数理モデリング ●エンジニアと連携したモデルの商用実装 ・定期的なモデルのパフォーマンス評価、パフォーマンスの維持・向上(ML ops / LLM ops) ●提案活動、提案内容レビュー ・受注前のプロジェクトにおける顧客との折衝、プロジェクトの要件整理 ・整理した要件に基づく、提案内容のレビュー、実現可否判断 ・提案を魅力的にするための最新技術知見を踏まえた示唆だし ●技術の横展開・技術ブランディング ・実装ロジックの汎用化およびプロダクト化 ・技術ナレッジの公開(論文投稿・学会発表・勉強会登壇・Meetup、テックブログ等)

●業務概要 顧客企業と伴走しながら、生成AIや機械学習を組み込んだアプリケーションの設計〜開発〜運用までを担当します。 ●<主な業務例> ・生成AIを組み込んだAIエージェントアプリケーションの開発 ・生成AIアプリケーション/システムのLLMOps/AgentOps設計・開発 ・機械学習アプリケーション/システムのMLOps設計・開発 ・機械学習アプリケーション/システムの新規技術・サービス調査検証 ※詳細は面接時に説明します。 ●プロジェクト事例 AI自動発注システム 未来型無人化店舗「SECURE AI STORE LAB」開発　 ●技術スタック 言語:Python、SQL、Scala、Java DWH:Snowflake、BigQuery、Redshift データ基盤:Databricks、Spark、Presto、Hadoop BIツール:Tableau、Looker、PowerBI、Datorama、DOMOなど クラウド:AWS、GCP、Azure ETL/ELTツール: dbt、Fivetran、trocco、Airbyte、Talend、AWS Glue AIフレームワーク:VertexAI、SageMaker、AzureML IaCツール:Terraform、CloudFormation、Ansible

当社グループの事業 ・当社は「システム」「リサーチ」「コンサルティング」の3つの分野を柱に、社会に対して新たな価値を創出する総合シンクタンクです。 ・高い専門性と豊富な経験、さらに3つの機能の相互連携をもとにした付加価値の高い情報サービスを、国内外を問わず幅広い社会、業界、企業に提供しています。 採用部門 採用部門概要 社会保険、健康経営、医療等ヘルスケアに関する業務を行う事業者、および団体に対して 社会保険ソリューションを提供しております。所属社員数は約200名です。 採用部門のミッション 健康保険組合を中心とした社会保険事業者へのシステムサービスの提供、およびRMによる顧客との信頼関係の構築や課題解決のほかに、蓄積されたレセプト情報を活用したビジネス企画・展開の推進も行っております。 業務詳細 アプリケーション開発プロジェクトのチームリーダーやプロジェクトマネジャーとして以下のような業務をご担当いただきます。(配属組織内に分散系/汎用系両方のシステムが存在しています。入社後はこれまでの経験を活かしていただけるプロジェクトに配属を想定しています。) ・新機能追加やユーザーヒアリングの企画実行 ・システム要件定義、設計、プロジェクトマネジメント、保守 ・新システムやデータレイク、大規模DWHに関する企画実行 ・オフショアマネジメント　など 開発事例 ・健康保険組合、国民健康保険組合向けシステム(分散/メインフレーム)の開発(設計、開発、運用、保守) ・健康保険組合向けシステム 　-健康保険組合の職員向けポータルサイト 　-健康保険組合の職員向け申請サイト 　-健康保険組合の職員向け分析システム ・国民健康保険組合向けシステム ・被保険者向け医療費情報紹介サイト ・被保険者向けe-Tax用データ提供サイト ・分散システムのアーキテクチャ設計 ・ローコード開発ツールによるフロントシステム開発

HRカンパニーのアナリティクスエンジニアとして、ビジネスやプロダクトの成長を加速させるため、「データ分析による課題解決」と「信頼性の高いデータ基盤の構築」の両輪を担っていただきます。 「求人ボックス」と「エンゲージ」のデータを横断的に活用し、カカクコムグループ全体のデータシナジーを生み出すことがミッションです。 ・KPI・管理指標の設計・策定、およびビジネス課題の特定と解決に向けた分析 ・BigQuery・Databricks等を活用したELT/ETLパイプラインの設計・実装・自動化 ・データモデリング・データマートの設計・構築・運用 ・ダッシュボード構築および施策のパフォーマンス管理(Looker Studio / Tableau / Redash等) ・統計的手法を用いた仮説検証・効果測定・ネクストアクションの提言 ・データ品質のモニタリング・テスト実装・アラート設計 ・DWHアーキテクチャ・データレイクハウスの設計・運用への参画 ・アナリティクスエンジニア・データサイエンティストとの協働による分析支援 ・データガバナンスの策定・推進 ・チームの技術的方向性への意見出し・合意形成 ・メンバーのタスク整理・優先度調整のサポート ・メンバーのコードレビュー・スキルアップ支援 ●利用ツール 【業務環境】 プロジェクト管理:Confluence / Jira　ソースコード管理:GitHub Enterprise　生成AIツール:Cursor / Dify コミュニケーション:Slack コラボレーション:Miro Officeツール:Google Workspace / Box / Microsoft365 端末:Windows(MacBook Proも選択可) 【開発環境・技術スタック】 データプラットフォーム:BigQuery / Databricks クラウド:Google Cloud / AWS DWH・ストレージ:BigQuery / Amazon Redshift / Amazon S3 ETL/データ連携:AWS Glue / TROCCO 言語:SQL / Python BI:Looker Studio / Tableau / Redash 他:Vertex AI / Cloud Run / GCE / Workflows / KARTE / Adjust / Google Tag Manager 等 1か月目 ・担当サービスのビジネスモデル・データ基盤の理解 ・既存の分析プロジェクト・データパイプラインの把握 ・チームメンバーとの関係構築 2か月目以降 ・新規プロジェクトの担当(小規模案件から) ・チーム内での知見共有やメンバーの育成・指導 3か月目以降 チームの中核として技術課題の整理・提言、メンバー育成・レビューを主導

当社では「アイデアを持つパートナー（起案者）」に対して、サービスデザインから技術選定、開発までを一気通貫で提供しています。 スタートアップの開発支援から大手企業の新規サービス立ち上げまで様々な規模のプロジェクトがあり、その中でもパブリッククラウド環境でのデータウェアハウス構築を担うデータエンジニアとして業務を担っていただきます。 【業務詳細】 ・パブリッククラウド（AWS、GCP、Azure など）上でのデータ基盤・データパイプラインの設計、構築、運用 ・データ収集、加工、ストレージに関わるシステムの開発 ・大規模データを対象としたETL (ELT) 処理の最適化 ・リアルタイムデータの処理 ・データクレンジング処理やデータマートの構築 ・データの可視化および分析基盤の構築支援 ・データパイプラインの品質管理、パフォーマンスの向上 ・データウェアハウスの運用保守 ・ステークホルダー（データアナリスト、データサイエンティストなど）との連携 ・顧客との要件定義や設計フェーズでのコミュニケーション