資格取得支援制度あり SparkのITエンジニア求人・転職情報

DATUM STUDIO株式会社

業務概要 顧客企業と伴走しながら、生成AIや機械学習を組み込んだアプリケーション/システムの設計〜開発〜運用までを担当します。 <主な業務例> ・生成AIを組み込んだAIエージェントアプリケーションの開発 ・生成AIアプリケーション/システムのLLMOps/AgentOps設計・開発 ・機械学習PoCプロジェクトの本番化/製品化に向けての開発 ・機械学習アプリケーション/システムのMLOps設計・開発 ・機械学習アプリケーション/システムの新規技術・サービス調査検証 ※詳細は面接時に説明します。 プロジェクト事例 AI自動発注システム 未来型無人化店舗「SECURE AI STORE LAB」開発 技術スタック 言語:Python、SQL、Scala、Java DWH:Snowflake、BigQuery、Redshift データ基盤:Databricks、Spark、Presto、Hadoop BIツール:Tableau、Looker、PowerBI、Datorama、DOMOなど クラウド:AWS、GCP、Azure ETL/ELTツール: dbt、Fivetran、trocco、Airbyte、Talend、AWS Glue AIフレームワーク:VertexAI、SageMaker、AzureML IaCツール:Terraform、CloudFormation、Ansible

DATUM STUDIO株式会社

機械学習や統計モデリング、データ分析を活用して、お客様のビジネスに持続的成長と新しい可能性を創出するミッションに対し、プロジェクトマネージャーとして推進いただきます。 仮説の設定から必要データの入手・確認、分析手法の選定、検証を行うだけでなく、分析結果を元に、より深い分析計画や施策の改善提案等も行います。 また、プロジェクトの推進にあたっては、データ基盤の設計・開発・運用も担当いただきます。 プロジェクト事例 ●製造業向け機器の故障予測モデル開発 ●機械学習を用いたオークション落札価格の予測 ●金融業向け生成AIを活用した業務効率化 技術環境 言語:Python、SQL、Scala、Java DWH:Snowflake、BigQuery、Redshift データ基盤:Databricks、Spark、Presto、Hadoop BIツール:Tableau、Looker、PowerBI、Datorama、DOMOなど クラウド:AWS、GCP、Azure ETL/ELTツール: dbt、Fivetran、trocco、Airbyte、Talend、AWS Glue AIフレームワーク:VertexAI、SageMaker、AzureML IaCツール:Terraform、CloudFormation、Ansible

株式会社SUBARU

アイサイトの画像認識ソフトウェアを対象とした、 ・オンプレミスやクラウドのインフラ上でのCI/CD・テスト自動化プラットフォーム構築 ・CI/CD・テスト自動化プラットフォームの設計や利用するツール群の選定 <具体的には> 画像認識ソフトウェアを対象とした、 ①ソフトウェア構成管理ツール(Git)を活用した、CI/CDシステムの構築。 ※:GitのCI/CDの機能を使った、CI/CDシステムの構築。 ②オンプレミスとクラウドのテスト自動化プラットフォームの構築。 ※:オンプレミスとクラウドの両方を活用した、テスト自動化環境のプラットフォーム設計と構築。 ③CI/CD・テスト自動化プラットフォームで利用するツール群の選定 ※:オープンソースソフトウェアや有償ツールなどのCI/CDやテスト自動化プラットフォームを構築する上で必要なツール群を選定する。 <使用言語/環境/ツール/資格等> ・開発言語:C/C++ ・リポジトリ管理ツール:GitLab , GitHub ・OS:Linux、Windows ・コンテナ:Docker、Kubernetes ・クラウドサービス:AWS 【取り扱っていただくプロダクト/技術】 ・アイサイトのステレオカメラの画像認識ソフトウェア 当社が実現する「予防安全」は国内外の安全性評価において常にトップクラスの評価をいただいていますが、リアルワールドで安心して使える技術を追及して、2030年に死亡交通事故ゼロを実現していきます。 アイサイトは、ステレオカメラを搭載することで、人の目と同じように、あらゆる物体に対する高い認識性能を実現しつつ、高精度な物体の位置・速度を測ることができ、多様な検知情報を組み合わせることで、高度な運転支援機能を実現する事が出来ます。これらの一部を(画像認識)ソフトウェアにて実現しています。 【変更の範囲】 会社の定める業務(※) (※)業務の都合によっては会社外の職務に従事するため出向又は転属を命じることがあります。

株式会社SUBARU

車載向けエッジモデルおよび机上評価用の大規模モデル開発を支える MLOps 基盤の構築・運用 をお任せいたします。 <具体的には> 膨大な量の運転データを効率的に活用するための計算基盤とモデル学習・評価パイプラインの構築、データの質と量でモデル改善に貢献するデータセットのキュレーション、モデル分析を支援するBIツール環境の整備など、ML エンジニア/MLリサーチャーの開発を加速する仕組みづくりを行っていただきます。 【業務遂行いただくうえで必要になる技術例】 ・クラウド/オンプレミス上における学習・評価パイプライン(MLOps)の設計・構築および保守・運用 ・大規模データ学習の高速化を目的とした計算基盤・分散処理・アルゴリズム最適化の検討と実行 ・データセットのキュレーション(バランス設計、データリーク防止、品質管理)およびデータセット生成パイプラインの構築 ・データやモデル評価指標を統合的に可視化する BI ツール環境の設計・構築 【使用するツール】 ※状況により柔軟に変わります ・開発言語/データ操作言語:Python、SQL ・クラウド:GCP、AWS ・OS:Linux、Windows ・深層学習フレームワーク:TensorFlow(Keras)、PyTorch ・実験管理/設定/可視化:MLflow、Hydra、TensorBoard ・MLプラットフォーム/パイプライン:Vertex AI、SageMaker ・CI/CD:GCP Cloud Build、AWS CodeBuild、AWS CodePipeline ・データETL/分散処理:Dataflow、EMR(Spark/Hadoop) ・データ分析:BigQuery、Amazon Redshift ・BIツール:Looker Studio、Amazon QuickSight ・オーケストレーション:Apache Airflow、Amazon MWAA ・コンテナ:Docker ・その他:GitLab、Confluence、Jira、Teams 【変更の範囲】 会社の定める業務(※) (※)業務の都合によっては会社外の職務に従事するため出向又は転属を命じることがあります。

キオクシア株式会社

【お任せする業務】 OSSを用いたビッグデータ活用システムの開発の下記のうちいずれかをご担当いただきます。 ●ビッグデータ×内製AIシステムのプラットフォーム&アプリのアジャイル開発リーダー ●装置センサーデータの収集・可視化を行う内製システムのITアーキテクト兼アジャイル開発リーダー 【具体的な仕事内容】 ●ビッグデータ×内製AIシステムのプラットフォーム&アプリのアジャイル開発リーダー [役割] ユーザ部門・アナリティクスチームと連携し、アジャイル開発を推進。価値が出るまで伴走します。 [業務内容] ・バックログ作成、スプリント運営、設計～開発～テスト～リリース～運用改善を一気通貫でリード ・プラットフォーム戦略(共通機能の整備、CI/CD、監視・可観測性の仕組み化)を検討・実行 ・リリース後の運用管理(SLO設計、障害対応、改善提案)も担当 ●装置センサーデータの収集・可視化を行う内製システムのITアーキテクト兼アジャイル開発リーダー [役割] ユーザ部門と調整し、システム要件や設計を決定。現場と同じ目線で最適解を導きます。 [業務内容] ・データパイプライン(収集→ストリーム処理→蓄積→可視化)の設計・開発・運用 ・リリース後のダッシュボード改善、アラート設計、性能チューニング ・チームを率いて短サイクルで価値リリース→効果測定→改善を回す [従事すべき業務の変更の範囲] (雇入れ直後)上記の通り (変更の範囲)その他会社が指示する業務 【言語】 Python、SQL、Java、JavaScript、VBA 【環境】 Linux 【技術】 Web:React、FastAPI ビッグデータ: Hadoop、HBase、Hive、Spark 時系列データ処理: Flink、Kafka、時系列データベース(DB) 生成AI:生成AI/RAG活用技術

ソフトバンク株式会社

【ミッション】 「ソフトバンクの持続的成長・ビジネススピードの加速に貢献する」をミッションとし、安定したサービス提供とAIなどを活用した生産性向上を実現し、ビジネス部門を巻き込み、革新的なサービスを生み出すことを目標としています。 【主な業務】 ・通信事業におけるビジネスパートナー精算システムの開発 ・業務分析/要件定義から開発リリースまでの一連の工程のシステム開発と保守や、社内横断的なプロジェクトの遂行や業務企画推進、新たなIT技術の推進や導入検討 【具体的な業務】 ソフトバンクサービスにおけるビジネスパートナー精算などのバックヤード系システムをご担当いただきます。 ・社内システムにおける設計、開発、テストの実施 ※新システムの内製化を目指しており、入社後は本チームでの開発業務が中心になる想定です。 【環境】 プログラミング言語: Java, SQL フレームワーク: Spring Boot, Apache Beam 分散処理・クエリ基盤: Apache Flink, Trino データストア: Apache Iceberg (on HDFS), MySQL, Hive インフラ・環境: 仮想環境(Linux / MIRACLE LINUX) コンテナ・オーケストレーション: Docker, Kubernetes CI/CD・ビルド: GitLab CI/CD, Jenkins, Maven

Trust株式会社（トラスト）

当社は、福岡エリアの金融機関向けにITコンサルティングおよびAI活用支援をより強化すべく、2025年7月に福岡オフィスを開設いたしました。 本ポジションでは、データ基盤構築やAI活用基盤構築に関する企画や基盤設計、構築に関するプロジェクトにおいて、そのスペシャリストとして参画いただくポジションとなります。大手金融機関やそのHD様の案件がメインとなっており、そのような金融機関様のデータ活用の基礎となる大規模なデータ基盤構築に関わることができます。企画、設計、基盤普及を中心とした様々なフェーズに参画することができます。 具体的な案件例として以下のようなものがあります。当社が扱う案件のほとんどが直請の大手金融機関様との案件となっており、日本を代表する様々な企業様でのデータ分析・基盤構築の経験をすることができます。 プロジェクト体制 2名～6名程度でチーミング 具体的な業務内容 ・金融機関向けのデータ基盤およびAI活用基盤構築プロジェクトにおける、設計・開発・運用支援の実行 ・データ収集・加工・集計・クレンジングなど、分析・AI活用に向けたデータ整備処理の実装 ・PythonやSQL、Spark、Airflowなどを用いたデータパイプライン構築および運用 ・AWS/GCP/Azureなどクラウド環境上でのDWH/データレイク構築支援 ・Snowflake、Databricksなどを活用した基盤構築・性能チューニングの実施 ・データ品質向上やガバナンス観点からのモニタリング設定、改善対応 ・AI・データサイエンティストやアーキテクトと連携した分析基盤の整備 ・自社プロダクト(Trust GenGA/Trust TLanP)におけるデータ連携・検証支援 プロジェクト事例 ・証券会社様におけるデジタルマーケティング基盤の構築支援 ・金融コングロマリット様でのグループ横断データ活用基盤企画推進支援 ・カード会社様・証券会社様・信託銀行・銀行、金融HD様などでのAI人材育成の推進、データ活用CoE組織 ・銀行様におけるAutoMLツールの比較検討、導入支援 ・銀行様における市場分析モデルの開発、運用支援 ・証券会社様におけるAI活用コンサルティング支援開発支援 ・生成AI等を活用した金融事務の効率化、ビジネスプロセス変革(当社プロダクトTrust GenGAを活用) ・生成AI等を活用したレガシーシステムマイグレーション支援(当社プロダクトTrust TLanPを活用 ) ※業務変更の範囲 (雇入れ直後)IT専門職 (変更の範囲)すべての業務への配置転換あり

JAPAN AI株式会社

ミッション "AI の出力品質を科学する — 評価手法の研究・開発で、エージェントの信頼性を証明する" LLM / AIエージェントの出力品質を、機械学習・統計学・計量心理学の手法で定量的に評価・改善します。本ポジションは「テストする人」ではなく、 「何をもって良いAIとするかを定義し、測定する科学者」 です。 期待する役割について AI Evaluation Scientist として、AI エージェントの品質評価基盤の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 — LLM-as-Judge の校正、報酬モデリング、ベンチマーク設計を通じて「何をもって品質とするか」を科学的に定義します ●自動評価パイプラインの設計・構築 — 研究成果を本番 CI/CD に組み込み、スケーラブルな品質ゲートを実現します ●レッドチーミング・安全性検証 — adversarial testing の自動化、ポリシー準拠検証フレームワークを構築します ●統計的実験計画に基づく品質改善 — A/B テスト・有意差検定でプロンプト戦略やモデル変更の効果を定量的に検証します ●評価シグナルの研究・開発チームへのフィードバック — モデル改善の複利ループを構築します 約 200 社が本番利用するプロダクトの品質を「科学する」アプローチで担保します 業務内容 AI Evaluation Scientistとして、 AIエージェントの評価基盤 (Evaluation Infrastructure) の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 ・LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules) ・評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection) ・報酬モデリング / preference learning の評価への応用研究 ・評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection) ・評価セット (合成データ + 実ログ) の設計・構築・メンテナンス ●自動評価パイプラインの設計・構築 ・スケーラブルな自動評価パイプラインの設計・実装 ・CI/CD への評価パイプライン組込みと品質ゲートの構築 ・エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応) ・評価パイプラインの再現性・信頼性の担保 ●安全性・品質検証 ・自動レッドチーミング (automated adversarial testing) の研究・実装 ・安全性 / ポリシー準拠の検証フレームワーク構築 ・ハルシネーション検出・校正手法の研究・実装 ・プロンプト / ツール回帰テストの設計・実行 ●統計分析・実験設計 ・統計的実験計画 (A/B テスト、有意差検定) の設計・分析 ・品質トレンドの可視化・回帰検出の自動化 ・品質レポート作成と改善提案 ・評価シグナルの研究・開発チームへのフィードバック 業務シナリオ ※以下は想定される業務シナリオの例です ●シナリオ1: LLM-as-Judge の校正と妥当性検証 新しい評価メトリクスとして LLM-as-Judge を導入する際、judge モデルの校正 (calibration) を実施します。人間評価との一致率を統計的に検証し、rubric 設計を反復改善します。construct validity を確認した上で、自動評価パイプラインに組み込み、評価コストを 80% 削減しながら人間評価と同等の信頼性を実現します。 ●シナリオ2: 新モデル導入時の品質ゲート LLMプロバイダーが新モデルをリリースした際、既存のベンチマークスイートで回帰テストを実行し、factualityスコアが3%低下していることを検出します。原因を分析し、プロンプト調整で品質を維持したまま新モデルへの移行を完了します。 ●シナリオ3: 自動レッドチーミングによる安全性検証 金融機関向けにJAPAN AI AGENTを導入する際、自動レッドチーミングパイプラインを構築します。adversarial promptの自動生成・分類器による脆弱性検出を実装し、業界固有のリスクシナリオ(機密情報漏洩、不適切な金融アドバイス等)を網羅的にテストします。ポリシー準拠率99%以上を達成します。 ●従事すべき業務の変更の範囲 会社の定める業務 成果責任 (KR/メトリクス) ●評価カバレッジ率(テストケース網羅率) ●回帰検出率(リリース前の品質劣化検出率 ≥ 95%) ●評価パイプライン実行時間(CI/CD内で完了) ●LLM-as-Judge と人間評価の一致率 ●False Positive / Negative 率 ●安全性インシデント発生率(リリース後) チーム体制 約120名が開発組織に在籍しています。 AI Evaluation Scientistは品質保証の専門チームとして、以下のチームと密接に連携します: ●密接に連携する役割: ・Agentic Product Engineer — エージェント機能開発 ・Research Engineer — 研究開発・モデル改善 ・Agent Harness Engineer / Software Engineer (AI Platform) — AI 実行基盤開発 ・Product Manager — プロダクト設計・品質要件定義 開発環境 ●言語 : Python (評価パイプライン・分析), TypeScript / React / Next.js (フロントエンド部) / NX ●評価 / QA : pytest, LangSmith, Weights & Biases, custom eval frameworks ●データ : BigQuery, Spark, Pandas ●インフラ : GCP (コンテナ / K8s), Docker, Terraform ●CI/CD : GitHub Actions ●ツール : Slack, Confluence, Linear, Google Workspace, GitHub, Notion ●AI 開発支援 : Claude Code MAX Plan, Cursor, ChatGPT, Devin ●作業環境 : Mac (Apple Silicon), デュアルモニタ対応

日本ビジネスシステムズ株式会社

お客さまのデータ利活用のため、データ分析基盤の構築、BI レポートの開発を行います。 データ分析基盤構築では、主に Microsoft Azure の製品を用いたデータの統合・蓄積・加工を担う一連のシステム群の要件定義から構築・開発、保守・運用を行います。 BI レポート開発では、Microsoft Power BI を用いた BI レポートの要件定義から開発、保守・運用を行います。 分析基盤構築や BI レポートの導入を検討中のお客さまに対する提案や BI レポートのモックアップ開発などを行います。 【具体的な業務内容】 ■データ分析基盤構築の提案・デリバリー・保守運用・教育 ・Azure RDB などを用いたデータ分析基盤の構築 ・Azure Synapse Analytics や Azure Databricks などを用いたビックデータ分析基盤の構築 ・Azure Data Factory などを利用した ETL 機能の開発 ・Azure Cognitive Services や Azure Machine Learning などを用いた AI 機能構築 ・AWS、オンプレミスでの Hadoop、Snowflake などを使ったデータパイプラインの実装 ■BI レポート開発の提案・デリバリー・保守運用・教育 ・データ分析基盤に蓄積されたデータを可視化するための BI レポートの開発 <プロジェクト事例> ・大手総合商社:BS / PL などデータを収集・蓄積するデータ分析基盤構築、Power BI レポートの開発 ・外資系衣料系ブランド:在庫/売上の把握などのデータ分析基盤の構築、Power BI レポートの開発 ・大手消費財メーカー:社員の働き方の見える化のため Power BI レポートの開発 ・大手出版社:各店舗 POS ・ Web 販売データを収集・蓄積するデータ分析基盤構築と Power BI レポートの開発

株式会社Sun Asterisk

社内における、DataOps推進のためのデータ利活用するための基盤設計、データ戦略立案、データガバナンスのプランニングなどを行っていただきます。 DMBOKの思想などを理解したうえで現代のデータを元に事業が動くために必要な要件に取り組んでもらいます。 【業務詳細】 社内データ基盤のアーキテクチャ設計を主導 既存データインフラ環境の分析や、改善提案。 具体的なアプローチの提示 データガバナンスのポリシーの策定と推進 自社内のチームや他部署と連携し、データ基盤プロジェクトの推進

ソフトバンク株式会社

【ミッション】 企業向けシステム開発において、CDP、クラウド、データ統合基盤などの最先端技術を駆使し、顧客のDX推進および業務改革を実現するためのSE支援を提供 【主な業務】 ・CDPやデータ統合基盤などの先端技術を活用した法人顧客向けシステムの提案から要件定義、実装までの各工程をリード ・プロジェクトマネジメントおよび顧客との直接交渉、調整業務 ・社内外のパートナーと連携し、システム構築および導入を促進 【具体的な業務】 ・提案・設計:顧客要件をもとにCDP、データ分析、クラウドを取り入れたシステムの提案、要件定義、設計書の作成 ・実装・開発:生成AIを含むウェブアプリケーションおよびデータ基盤の開発、ETL処理やデータ統合基盤環境のシステム実装 ・プロジェクトマネジメント:社内メンバーや協業パートナーの統括、進捗管理、品質・リスク管理、定例顧客折衝の実施 ・ドキュメント管理:提案書、設計書、計画書、テスト仕様書などの各種文書の作成および整備 ・技術調整:技術的な折衝およびトラブルシューティングによる問題解決の実施 ※全ての募集における雇い入れ後の、従事すべき業務・就業場所の変更の範囲については下記の通りとします。 ●業務の変更の範囲:会社内でのすべての業務

パーソルクロステクノロジー株式会社

●業務概要 パーソルグループ企業もしくは提携企業にて顧客や社内の部門に対して、お客様が保有する様々なデータを活用可能な形に処理し、データ分析のための基盤構築をお任せします。 データサイエンティスト/アナリストが行う仕事の基盤をつくり、お客様が抱える課題を解決まで導く業務となります。 ●業務詳細 ・データ収集・連携 　└外部SaaS/業務システムなど異なるソースからのデータ取り込み 　└バッチ開発やストリーミング処理 ・データ基盤の設計・構築・運用 　└DWH・DB・テーブルの設計(SQL、スキーマ、パーティショニング) 　└クラウドインフラの構築(AWS/GCP/Azure)、セキュリティ・ネットワーク設定、コスト最適化 ・データ整備・品質管理 　└ETL/ELTパイプラインの実装(dbt、Apache Kafka、Apache Spark) 　└データモデリング(スタースキーマ・Snowflake)、メタデータ管理、データカタログ整備 ・データ品質監視 　└検査ルール、データガバナンスの設定 　└アラート対応、テスト設計 ・提供・可視化支援 　└分析用マートの提供、BIツールへの接続最適化・可視化(Looker、Tableau、Power BI) ・運用・信頼性 　└パイプラインの監視・障害対応・パフォーマンスチューニング 　└Gitによる変更管理 プロジェクト例 ●Databricksを用いたデータ基盤の設計構築 <業務内容> 　・Databricks上のデータ基盤の設計/構築/検証 　・SAPのテーブルをDatabricksに連携 　・S3のテーブルをDatabricksに連携 　・ストリーミングテーブルの実装、ジョブ作成 <技術> 　Databricks, PySpark, SparkSQL, PowerBI, Git ●dbtを用いたETL、データパイプライン構築 <業務内容> 　・データパイプライン構築、フロー図作成 　・Bigqueryからのデータ抽出、データマートの設計・開発 　・ワークフローの監視 　・バッチ処理開発・運用 　・Tableauダッシュボードの設計・構築・運用 <技術> 　GCP(Bigquery,GCS), dbt, Tableau, Git

株式会社Sun Asterisk

当社では「アイデアを持つパートナー（起案者）」に対して、サービスデザインから技術選定、開発までを一気通貫で提供しています。 スタートアップの開発支援から大手企業の新規サービス立ち上げまで様々な規模のプロジェクトがあり、その中でもパブリッククラウド環境でのデータウェアハウス構築を担うデータエンジニアとして業務を担っていただきます。 【業務詳細】 ・パブリッククラウド（AWS、GCP、Azure など）上でのデータ基盤・データパイプラインの設計、構築、運用 ・データ収集、加工、ストレージに関わるシステムの開発 ・大規模データを対象としたETL (ELT) 処理の最適化 ・リアルタイムデータの処理 ・データクレンジング処理やデータマートの構築 ・データの可視化および分析基盤の構築支援 ・データパイプラインの品質管理、パフォーマンスの向上 ・データウェアハウスの運用保守 ・ステークホルダー（データアナリスト、データサイエンティストなど）との連携 ・顧客との要件定義や設計フェーズでのコミュニケーション