年収350万円以上 SparkのITエンジニア求人・転職情報

●業務概要 パーソルグループ企業もしくは提携企業にて顧客や社内の部門に対して、お客様が保有する様々なデータを活用可能な形に処理し、データ分析のための基盤構築をお任せします。 データサイエンティスト/アナリストが行う仕事の基盤をつくり、お客様が抱える課題を解決まで導く業務となります。 ●業務詳細 ・データ収集・連携 　└外部SaaS/業務システムなど異なるソースからのデータ取り込み 　└バッチ開発やストリーミング処理 ・データ基盤の設計・構築・運用 　└DWH・DB・テーブルの設計(SQL、スキーマ、パーティショニング) 　└クラウドインフラの構築(AWS/GCP/Azure)、セキュリティ・ネットワーク設定、コスト最適化 ・データ整備・品質管理 　└ETL/ELTパイプラインの実装(dbt、Apache Kafka、Apache Spark) 　└データモデリング(スタースキーマ・Snowflake)、メタデータ管理、データカタログ整備 ・データ品質監視 　└検査ルール、データガバナンスの設定 　└アラート対応、テスト設計 ・提供・可視化支援 　└分析用マートの提供、BIツールへの接続最適化・可視化(Looker、Tableau、Power BI) ・運用・信頼性 　└パイプラインの監視・障害対応・パフォーマンスチューニング 　└Gitによる変更管理 プロジェクト例 ●Databricksを用いたデータ基盤の設計構築 <業務内容> 　・Databricks上のデータ基盤の設計/構築/検証 　・SAPのテーブルをDatabricksに連携 　・S3のテーブルをDatabricksに連携 　・ストリーミングテーブルの実装、ジョブ作成 <技術> 　Databricks, PySpark, SparkSQL, PowerBI, Git ●dbtを用いたETL、データパイプライン構築 <業務内容> 　・データパイプライン構築、フロー図作成 　・Bigqueryからのデータ抽出、データマートの設計・開発 　・ワークフローの監視 　・バッチ処理開発・運用 　・Tableauダッシュボードの設計・構築・運用 <技術> 　GCP(Bigquery,GCS), dbt, Tableau, Git

HRカンパニーのアナリティクスエンジニアとして、ビジネスやプロダクトの成長を加速させるため、「データ分析による課題解決」と「信頼性の高いデータ基盤の構築」の両輪を担っていただきます。 「求人ボックス」と「エンゲージ」のデータを横断的に活用し、カカクコムグループ全体のデータシナジーを生み出すことがミッションです。 ・KPI・管理指標の設計・策定、およびビジネス課題の特定と解決に向けた分析 ・BigQuery・Databricks等を活用したELT/ETLパイプラインの設計・実装・自動化 ・データモデリング・データマートの設計・構築・運用 ・ダッシュボード構築および施策のパフォーマンス管理(Looker Studio / Tableau / Redash等) ・統計的手法を用いた仮説検証・効果測定・ネクストアクションの提言 ・データ品質のモニタリング・テスト実装・アラート設計 ・DWHアーキテクチャ・データレイクハウスの設計・運用への参画 ・アナリティクスエンジニア・データサイエンティストとの協働による分析支援 ・データガバナンスの策定・推進 ・チームの技術的方向性への意見出し・合意形成 ・メンバーのタスク整理・優先度調整のサポート ・メンバーのコードレビュー・スキルアップ支援 ●利用ツール 【業務環境】 プロジェクト管理:Confluence / Jira　ソースコード管理:GitHub Enterprise　生成AIツール:Cursor / Dify コミュニケーション:Slack コラボレーション:Miro Officeツール:Google Workspace / Box / Microsoft365 端末:Windows(MacBook Proも選択可) 【開発環境・技術スタック】 データプラットフォーム:BigQuery / Databricks クラウド:Google Cloud / AWS DWH・ストレージ:BigQuery / Amazon Redshift / Amazon S3 ETL/データ連携:AWS Glue / TROCCO 言語:SQL / Python BI:Looker Studio / Tableau / Redash 他:Vertex AI / Cloud Run / GCE / Workflows / KARTE / Adjust / Google Tag Manager 等 1か月目 ・担当サービスのビジネスモデル・データ基盤の理解 ・既存の分析プロジェクト・データパイプラインの把握 ・チームメンバーとの関係構築 2か月目以降 ・新規プロジェクトの担当(小規模案件から) ・チーム内での知見共有やメンバーの育成・指導 3か月目以降 チームの中核として技術課題の整理・提言、メンバー育成・レビューを主導

当社では「アイデアを持つパートナー（起案者）」に対して、サービスデザインから技術選定、開発までを一気通貫で提供しています。 スタートアップの開発支援から大手企業の新規サービス立ち上げまで様々な規模のプロジェクトがあり、その中でもパブリッククラウド環境でのデータウェアハウス構築を担うデータエンジニアとして業務を担っていただきます。 【業務詳細】 ・パブリッククラウド（AWS、GCP、Azure など）上でのデータ基盤・データパイプラインの設計、構築、運用 ・データ収集、加工、ストレージに関わるシステムの開発 ・大規模データを対象としたETL (ELT) 処理の最適化 ・リアルタイムデータの処理 ・データクレンジング処理やデータマートの構築 ・データの可視化および分析基盤の構築支援 ・データパイプラインの品質管理、パフォーマンスの向上 ・データウェアハウスの運用保守 ・ステークホルダー（データアナリスト、データサイエンティストなど）との連携 ・顧客との要件定義や設計フェーズでのコミュニケーション