年間休日120日以上 SparkのITエンジニア求人・転職情報

株式会社SUBARU

アイサイトの画像認識ソフトウェアを対象とした、 ・オンプレミスやクラウドのインフラ上でのCI/CD・テスト自動化プラットフォーム構築 ・CI/CD・テスト自動化プラットフォームの設計や利用するツール群の選定 <具体的には> 画像認識ソフトウェアを対象とした、 ①ソフトウェア構成管理ツール(Git)を活用した、CI/CDシステムの構築。 ※:GitのCI/CDの機能を使った、CI/CDシステムの構築。 ②オンプレミスとクラウドのテスト自動化プラットフォームの構築。 ※:オンプレミスとクラウドの両方を活用した、テスト自動化環境のプラットフォーム設計と構築。 ③CI/CD・テスト自動化プラットフォームで利用するツール群の選定 ※:オープンソースソフトウェアや有償ツールなどのCI/CDやテスト自動化プラットフォームを構築する上で必要なツール群を選定する。 <使用言語/環境/ツール/資格等> ・開発言語:C/C++ ・リポジトリ管理ツール:GitLab , GitHub ・OS:Linux、Windows ・コンテナ:Docker、Kubernetes ・クラウドサービス:AWS 【取り扱っていただくプロダクト/技術】 ・アイサイトのステレオカメラの画像認識ソフトウェア 当社が実現する「予防安全」は国内外の安全性評価において常にトップクラスの評価をいただいていますが、リアルワールドで安心して使える技術を追及して、2030年に死亡交通事故ゼロを実現していきます。 アイサイトは、ステレオカメラを搭載することで、人の目と同じように、あらゆる物体に対する高い認識性能を実現しつつ、高精度な物体の位置・速度を測ることができ、多様な検知情報を組み合わせることで、高度な運転支援機能を実現する事が出来ます。これらの一部を(画像認識)ソフトウェアにて実現しています。 【変更の範囲】 会社の定める業務(※) (※)業務の都合によっては会社外の職務に従事するため出向又は転属を命じることがあります。

株式会社SUBARU

車載向けエッジモデルおよび机上評価用の大規模モデル開発を支える MLOps 基盤の構築・運用 をお任せいたします。 <具体的には> 膨大な量の運転データを効率的に活用するための計算基盤とモデル学習・評価パイプラインの構築、データの質と量でモデル改善に貢献するデータセットのキュレーション、モデル分析を支援するBIツール環境の整備など、ML エンジニア/MLリサーチャーの開発を加速する仕組みづくりを行っていただきます。 【業務遂行いただくうえで必要になる技術例】 ・クラウド/オンプレミス上における学習・評価パイプライン(MLOps)の設計・構築および保守・運用 ・大規模データ学習の高速化を目的とした計算基盤・分散処理・アルゴリズム最適化の検討と実行 ・データセットのキュレーション(バランス設計、データリーク防止、品質管理)およびデータセット生成パイプラインの構築 ・データやモデル評価指標を統合的に可視化する BI ツール環境の設計・構築 【使用するツール】 ※状況により柔軟に変わります ・開発言語/データ操作言語:Python、SQL ・クラウド:GCP、AWS ・OS:Linux、Windows ・深層学習フレームワーク:TensorFlow(Keras)、PyTorch ・実験管理/設定/可視化:MLflow、Hydra、TensorBoard ・MLプラットフォーム/パイプライン:Vertex AI、SageMaker ・CI/CD:GCP Cloud Build、AWS CodeBuild、AWS CodePipeline ・データETL/分散処理:Dataflow、EMR(Spark/Hadoop) ・データ分析:BigQuery、Amazon Redshift ・BIツール:Looker Studio、Amazon QuickSight ・オーケストレーション:Apache Airflow、Amazon MWAA ・コンテナ:Docker ・その他:GitLab、Confluence、Jira、Teams 【変更の範囲】 会社の定める業務(※) (※)業務の都合によっては会社外の職務に従事するため出向又は転属を命じることがあります。

キオクシア株式会社

【お任せする業務】 ・ビジネス部門(企画、設計、開発、製造)と連携した、真の課題抽出とビジネスフローの再構築 ・先端IT/AIを活用したソリューションの提案、プロトタイプ開発、PoCの実施 ・コンサルタントやSIerと協働した本番環境への実装 【具体的な仕事内容】 ・OSSや先端IT/AI技術の調査(インターネットでの情報収集、各種カンファレンス・展示会への参加、コンサルやSIerへのヒアリング) ・ユーザ業務の理解と、ユーザとのディスカッションを通じた真の課題の抽出 ・抽出した課題を解決するためのシステムビジョンおよびコンセプトの策定 ・システムアーキテクチャの策定と実装方法の検討 ・プロトタイプ開発および検証、PoCの実施 ・コンサルやSIerと協働した本番システムの構築 ※当ポジションは、IT/AIの技術力を自ら高めながら、システムアーキテクチャの設計からプロトタイプ開発、PoCの実施までを自社主導で推進できる環境です。 [従事すべき業務の変更の範囲] (雇入れ直後)上記の通り (変更の範囲)その他会社が指示する業務

キオクシア株式会社

【お任せする業務】 OSSを用いたビッグデータ活用システムの開発の下記のうちいずれかをご担当いただきます。 ●ビッグデータ×内製AIシステムのプラットフォーム&アプリのアジャイル開発リーダー ●装置センサーデータの収集・可視化を行う内製システムのITアーキテクト兼アジャイル開発リーダー 【具体的な仕事内容】 ●ビッグデータ×内製AIシステムのプラットフォーム&アプリのアジャイル開発リーダー [役割] ユーザ部門・アナリティクスチームと連携し、アジャイル開発を推進。価値が出るまで伴走します。 [業務内容] ・バックログ作成、スプリント運営、設計～開発～テスト～リリース～運用改善を一気通貫でリード ・プラットフォーム戦略(共通機能の整備、CI/CD、監視・可観測性の仕組み化)を検討・実行 ・リリース後の運用管理(SLO設計、障害対応、改善提案)も担当 ●装置センサーデータの収集・可視化を行う内製システムのITアーキテクト兼アジャイル開発リーダー [役割] ユーザ部門と調整し、システム要件や設計を決定。現場と同じ目線で最適解を導きます。 [業務内容] ・データパイプライン(収集→ストリーム処理→蓄積→可視化)の設計・開発・運用 ・リリース後のダッシュボード改善、アラート設計、性能チューニング ・チームを率いて短サイクルで価値リリース→効果測定→改善を回す [従事すべき業務の変更の範囲] (雇入れ直後)上記の通り (変更の範囲)その他会社が指示する業務 【言語】 Python、SQL、Java、JavaScript、VBA 【環境】 Linux 【技術】 Web:React、FastAPI ビッグデータ: Hadoop、HBase、Hive、Spark 時系列データ処理: Flink、Kafka、時系列データベース(DB) 生成AI:生成AI/RAG活用技術

ソフトバンク株式会社

【ミッション】 「ソフトバンクの持続的成長・ビジネススピードの加速に貢献する」をミッションとし、安定したサービス提供とAIなどを活用した生産性向上を実現し、ビジネス部門を巻き込み、革新的なサービスを生み出すことを目標としています。 【主な業務】 ・通信事業におけるビジネスパートナー精算システムの開発 ・業務分析/要件定義から開発リリースまでの一連の工程のシステム開発と保守や、社内横断的なプロジェクトの遂行や業務企画推進、新たなIT技術の推進や導入検討 【具体的な業務】 ソフトバンクサービスにおけるビジネスパートナー精算などのバックヤード系システムをご担当いただきます。 ・社内システムにおける設計、開発、テストの実施 ※新システムの内製化を目指しており、入社後は本チームでの開発業務が中心になる想定です。 【環境】 プログラミング言語: Java, SQL フレームワーク: Spring Boot, Apache Beam 分散処理・クエリ基盤: Apache Flink, Trino データストア: Apache Iceberg (on HDFS), MySQL, Hive インフラ・環境: 仮想環境(Linux / MIRACLE LINUX) コンテナ・オーケストレーション: Docker, Kubernetes CI/CD・ビルド: GitLab CI/CD, Jenkins, Maven

Trust株式会社（トラスト）

当社は、福岡エリアの金融機関向けにITコンサルティングおよびAI活用支援をより強化すべく、2025年7月に福岡オフィスを開設いたしました。 本ポジションでは、データ基盤構築やAI活用基盤構築に関する企画や基盤設計、構築に関するプロジェクトにおいて、そのスペシャリストとして参画いただくポジションとなります。大手金融機関やそのHD様の案件がメインとなっており、そのような金融機関様のデータ活用の基礎となる大規模なデータ基盤構築に関わることができます。企画、設計、基盤普及を中心とした様々なフェーズに参画することができます。 具体的な案件例として以下のようなものがあります。当社が扱う案件のほとんどが直請の大手金融機関様との案件となっており、日本を代表する様々な企業様でのデータ分析・基盤構築の経験をすることができます。 プロジェクト体制 2名～6名程度でチーミング 具体的な業務内容 ・金融機関向けのデータ基盤およびAI活用基盤構築プロジェクトにおける、設計・開発・運用支援の実行 ・データ収集・加工・集計・クレンジングなど、分析・AI活用に向けたデータ整備処理の実装 ・PythonやSQL、Spark、Airflowなどを用いたデータパイプライン構築および運用 ・AWS/GCP/Azureなどクラウド環境上でのDWH/データレイク構築支援 ・Snowflake、Databricksなどを活用した基盤構築・性能チューニングの実施 ・データ品質向上やガバナンス観点からのモニタリング設定、改善対応 ・AI・データサイエンティストやアーキテクトと連携した分析基盤の整備 ・自社プロダクト(Trust GenGA/Trust TLanP)におけるデータ連携・検証支援 プロジェクト事例 ・証券会社様におけるデジタルマーケティング基盤の構築支援 ・金融コングロマリット様でのグループ横断データ活用基盤企画推進支援 ・カード会社様・証券会社様・信託銀行・銀行、金融HD様などでのAI人材育成の推進、データ活用CoE組織 ・銀行様におけるAutoMLツールの比較検討、導入支援 ・銀行様における市場分析モデルの開発、運用支援 ・証券会社様におけるAI活用コンサルティング支援開発支援 ・生成AI等を活用した金融事務の効率化、ビジネスプロセス変革(当社プロダクトTrust GenGAを活用) ・生成AI等を活用したレガシーシステムマイグレーション支援(当社プロダクトTrust TLanPを活用 ) ※業務変更の範囲 (雇入れ直後)IT専門職 (変更の範囲)すべての業務への配置転換あり

Japan Digital Design 株式会社

三菱UFJ銀行を中心にMUFG各社と連携し、AI技術を活用した業務の効率化・高度化を実現するプロジェクトにおいて、機械学習モデルの開発および実装、保守をしていただきます。 具体的には以下のような業務があります。 ・MUFGにおけるビジネス課題解決のための機械学習モデルの開発 ・機械学習モデルとその周辺機能の実装 ・AIに関する最新技術の調査・研究 ＜プロジェクト例＞ ・市場動向分析モデルの構築 ・市場部門のフロント部署のための機械学習ツール開発 ・オルタナティブデータを用いた与信モデルの構築 ・ビジネスマッチングのマッチングアルゴリズムの開発 ＜変更の範囲＞ 業務:会社の定める業務

Japan Digital Design 株式会社

三菱UFJ銀行を中心にMUFG各社と連携し、AI技術を活用した業務の効率化・高度化を実現するプロジェクトにおいて、データ分析業務を担っていただきます。 具体的には以下のような業務があります。 ・MUFGにおけるビジネス課題解決のためのデータ分析や機械学習モデルの開発 ・顧客への分析結果の説明 ・AIに関する最新技術の調査・研究 ●プロジェクト例 ・市場動向分析モデルの構築 ・市場部門のフロント部署のための機械学習ツール開発 ・オルタナティブデータを用いた与信モデルの構築 ・アンチマネーロンダリング(AML)分野における分析支援 ●変更の範囲 場所:会社の定める場所(在宅勤務を行う場所を含む)

Japan Digital Design 株式会社

三菱UFJ銀行を中心にMUFG各社と連携し、AI技術を活用した業務の効率化・高度化を実現するプロジェクトにおいて、データ分析業務をリードしていただきます。 具体的には以下のような業務があります。 ・適切な課題設定を行い顧客へソリューションを提案 ・MUFGにおけるビジネス課題解決のためのデータ分析や機械学習モデルの開発 ・顧客への分析結果の説明 ・AIに関する最新技術の調査・研究 ●プロジェクト例 ・市場動向分析モデルの構築 ・市場部門のフロント部署のための機械学習ツール開発 ・オルタナティブデータを用いた与信モデルの構築 ・アンチマネーロンダリング(AML)分野における分析支援

株式会社Sun Asterisk

社内における、DataOps推進のためのデータ利活用するための基盤設計、データ戦略立案、データガバナンスのプランニングなどを行っていただきます。 DMBOKの思想などを理解したうえで現代のデータを元に事業が動くために必要な要件に取り組んでもらいます。 【業務詳細】 社内データ基盤のアーキテクチャ設計を主導 既存データインフラ環境の分析や、改善提案。 具体的なアプローチの提示 データガバナンスのポリシーの策定と推進 自社内のチームや他部署と連携し、データ基盤プロジェクトの推進

FPTソフトウェアジャパン株式会社

データサイエンティストやAIエンジニアと連携し、下記の業務を担当いただきます。 ●ML基盤の設計・構築・運用 ・AWS,GCP,Azure等を用いたMLインフラの設計・運用 ・PythonコードやMLモデルのDockerイメージ作成、最適化 ・Kubernetes (EKS/GKE/AKS)による本番環境のコンテナオーケストレーション ・Terraform/CloudFormationによるインフラ構成管理 ・コスト見積もり・最適 ●MLOpsパイプライン構築・運用 ・CI/CDパイプライン(GitHub Actions等)設計・運用 ・Airflow, Kubeflow, VertexAI/SageMaker Pipelines等によるMLパイプライン自動化 ・MLflow等による実験管理・モデルレジストリ運用 ●モデルデプロイ・監視 ・ KServe, SageMaker Endpoint等によるモデルAPIデプロイ ・prometheus, Grafana, Datadog等を活用したシステム・モデルのモニタリング ・モデル性能(レイテンシ、精度等)の監視・ロギング・アラート設計 ・再学習サイクルの自動化と改善提案 【主なクライアント】 ・国内の金融業、製造業、流通業、等々多岐にわたる大手企業がクライアントです。 ・大手飲料メーカー、大手通信キャリア、大手自動車会社、大手電力会社、大手保険会社、大手信託銀行、大手航空会社、大手家電メーカー　等

株式会社ITSO

当社では、AX/DX領域におけるクラウド基盤の設計・構築・運用をリードする**即戦力クラウドエンジニア**を募集しています。 AWS / Azure / GCP を活用し、大手企業の業務改革を支えるミッションクリティカルなシステムの構築に携わります。 単なるインフラ構築ではなく、アーキテクチャ設計・技術選定・DevOps推進まで裁量を持って関われるポジションです。 業界問わず企業の業務改善を担うAX/DX業務においてDevOps環境を構築等、IT基盤業務をお任せします。 【具体的な仕事内容】 ● クラウドアーキテクチャ設計 ・AWS / Azure / Google Cloudを活用した基盤設計 ・クラウド移行戦略策定 ・マルチクラウド環境設計 ・クラウドネイティブアーキテクチャ設計 ・AI/データ活用基盤設計 ・システム構成最適化 ● クラウドインフラ構築 ・クラウド環境構築 ・ネットワーク設計 ・認証基盤設計 ・高可用性構成設計 ・バックアップ/DR設計 ・コンテナ基盤構築 ● DevOps・自動化推進 ・Infrastructure as Code(IaC)導入 ・CI/CDパイプライン構築 ・GitOps環境構築 ・自動テスト環境整備 ・運用自動化 ・Platform Engineering推進 ● 運用・改善 ・監視設計 ・SRE活動 ・障害分析/改善 ・性能改善 ・コスト最適化 ・セキュリティ強化 開発環境・業務範囲 Azure、AWS、GCP、Google Cloud等(クラウド全領域)

ソフトバンク株式会社

【ミッション】 企業向けシステム開発において、CDP、クラウド、データ統合基盤などの最先端技術を駆使し、顧客のDX推進および業務改革を実現するためのSE支援を提供 【主な業務】 ・CDPやデータ統合基盤などの先端技術を活用した法人顧客向けシステムの提案から要件定義、実装までの各工程をリード ・プロジェクトマネジメントおよび顧客との直接交渉、調整業務 ・社内外のパートナーと連携し、システム構築および導入を促進 【具体的な業務】 ・提案・設計:顧客要件をもとにCDP、データ分析、クラウドを取り入れたシステムの提案、要件定義、設計書の作成 ・実装・開発:生成AIを含むウェブアプリケーションおよびデータ基盤の開発、ETL処理やデータ統合基盤環境のシステム実装 ・プロジェクトマネジメント:社内メンバーや協業パートナーの統括、進捗管理、品質・リスク管理、定例顧客折衝の実施 ・ドキュメント管理:提案書、設計書、計画書、テスト仕様書などの各種文書の作成および整備 ・技術調整:技術的な折衝およびトラブルシューティングによる問題解決の実施 ※全ての募集における雇い入れ後の、従事すべき業務・就業場所の変更の範囲については下記の通りとします。 ●業務の変更の範囲:会社内でのすべての業務

パーソルクロステクノロジー株式会社

●業務概要 パーソルグループ企業もしくは提携企業にて顧客や社内の部門に対して、お客様が保有する様々なデータを活用可能な形に処理し、データ分析のための基盤構築をお任せします。 データサイエンティスト/アナリストが行う仕事の基盤をつくり、お客様が抱える課題を解決まで導く業務となります。 ●業務詳細 ・データ収集・連携 　└外部SaaS/業務システムなど異なるソースからのデータ取り込み 　└バッチ開発やストリーミング処理 ・データ基盤の設計・構築・運用 　└DWH・DB・テーブルの設計(SQL、スキーマ、パーティショニング) 　└クラウドインフラの構築(AWS/GCP/Azure)、セキュリティ・ネットワーク設定、コスト最適化 ・データ整備・品質管理 　└ETL/ELTパイプラインの実装(dbt、Apache Kafka、Apache Spark) 　└データモデリング(スタースキーマ・Snowflake)、メタデータ管理、データカタログ整備 ・データ品質監視 　└検査ルール、データガバナンスの設定 　└アラート対応、テスト設計 ・提供・可視化支援 　└分析用マートの提供、BIツールへの接続最適化・可視化(Looker、Tableau、Power BI) ・運用・信頼性 　└パイプラインの監視・障害対応・パフォーマンスチューニング 　└Gitによる変更管理 プロジェクト例 ●Databricksを用いたデータ基盤の設計構築 <業務内容> 　・Databricks上のデータ基盤の設計/構築/検証 　・SAPのテーブルをDatabricksに連携 　・S3のテーブルをDatabricksに連携 　・ストリーミングテーブルの実装、ジョブ作成 <技術> 　Databricks, PySpark, SparkSQL, PowerBI, Git ●dbtを用いたETL、データパイプライン構築 <業務内容> 　・データパイプライン構築、フロー図作成 　・Bigqueryからのデータ抽出、データマートの設計・開発 　・ワークフローの監視 　・バッチ処理開発・運用 　・Tableauダッシュボードの設計・構築・運用 <技術> 　GCP(Bigquery,GCS), dbt, Tableau, Git

株式会社Sun Asterisk

当社では「アイデアを持つパートナー（起案者）」に対して、サービスデザインから技術選定、開発までを一気通貫で提供しています。 スタートアップの開発支援から大手企業の新規サービス立ち上げまで様々な規模のプロジェクトがあり、その中でもパブリッククラウド環境でのデータウェアハウス構築を担うデータエンジニアとして業務を担っていただきます。 【業務詳細】 ・パブリッククラウド（AWS、GCP、Azure など）上でのデータ基盤・データパイプラインの設計、構築、運用 ・データ収集、加工、ストレージに関わるシステムの開発 ・大規模データを対象としたETL (ELT) 処理の最適化 ・リアルタイムデータの処理 ・データクレンジング処理やデータマートの構築 ・データの可視化および分析基盤の構築支援 ・データパイプラインの品質管理、パフォーマンスの向上 ・データウェアハウスの運用保守 ・ステークホルダー（データアナリスト、データサイエンティストなど）との連携 ・顧客との要件定義や設計フェーズでのコミュニケーション

燈株式会社

急成長する自社プロダクトを技術で支える SRE を募集します。 最先端の LLM 技術を活用したプロダクトでは、ユーザー体験の根幹となる「サービスの信頼性」を追求します。 もう一方のプロダクトでは、将来の事業拡大を見据えた「インフラ刷新とコスト最適化」を、大きな裁量のもとリードしていただきます。 安定稼働と事業成長の両輪を支える、非常に重要なポジションです。 あなたの技術力で、プロダクトの未来を支えてください。 ●具体的には ・プロダクトの特性に合わせたSLI/SLOの策定と、モニタリング環境の設計・構築 ・外部API(LLM)連携部分の安定稼働に向けた、継続的な監視とプロアクティブなパフォーマンス改善 ・将来的なアクセス増加に耐えうる、スケーラブルなインフラ基盤の再設計と技術選定のリード ・クラウド利用料の継続的なモニタリングと分析に基づいた、インフラコストの最適化 ※これまでのご経験領域やお持ちの知識に応じて、可能な業務からご対応いただき、徐々に対応範囲を広げていただきます。 最初からすべての業務を担う必要はありません。 知識・技術をキャッチアップしながらバリューを発揮いただける方に、本ポジションをお任せしたいと考えています。 ●自社プロダクト紹介 [建設業特化のバックオフィスDXサービス「Digital Billderシリーズ」](https://www.lp.digitalbillder.com/) ・建設業に特化したバックオフィスDXサービス。 ・Digital Billder見積書・発注・請求書・経費精算の4サービスから構成されるシリーズ。 サービス累計700社以上が導入。 [建設業特化の生成AIサービス「AIコンストシェルジュ 光/Hikari」](https://hikari.akariinc.co.jp/) ・建設業特化のAIエージェント。 ・ローンチ1年で300社の契約を達成 [製造業特化の生成AIサービス「製造業AIエージェント 工/Takumi」](https://takumi.akariinc.co.jp/) ・製造業特化のAIエージェント。 ・2025年ローンチの新プロダクト ●技術スタック(一例) フロントエンド Typescript Node.js React Next.js バックエンド Typescript Node.js Python NestJS FastAPI GraphQL Hasura gRPC インフラ Terraform Kubernetes AWS Microsoft Azure AI Python Numpy Pandas Pytorch OpenCV AI開発支援ツールの導入 当社では、最新の AI 開発支援ツールを実務に組み込み、効率と品質を同時に高めています。 主な活用例は以下の通りです。 ●Devin :自動タスク実行により、同時並行での実装数を向上 ●Claude Code :自然言語から高度なコード提案・改善を行い、実装スピードおよび同時並行実装数を向上 ●v0.dev :高速な UI モックアップ生成により、要件確認を迅速化 ●GitHub Copilot :日常的なコーディング補助により、作業効率を底上げ ●Gemini :Deep Research や Python 実行を活用した情報検索・解析で、調査および設計の精度を向上