BIエンジニア(Node.js)の求人・転職情報

●主にお任せしたいこと ①データ収集・パイプライン領域 ・各DBのデイリーミラーリング取込基盤の運用・改善(ジョブフロー再設計、取込時バリデーション、エラー通知の整合性改善、障害対応と再発防止) ・TROCCO・Cloud Workflows・Cloud Run を用いた非DBデータの取込パイプライン構築・運用 ・生成AIを組み込んだ、書式揺れに強い非構造データ取込パイプラインの構築 ・取込ソース追加のゼロデプロイ化(設定駆動化)など、DE運用工数を構造的に減らす自動化 ・Reverse ETL等の新しいデータ連携要件への対応と、取込基盤の適用範囲拡大 ②データモデリング・提供領域 ・4層モデリング設計方針に基づく staging / dwh(dim・fct)/ mart 各レイヤーのdbtモデル実装と、テストによる品質担保 ・BI(Looker Studio / Lightdash等)へのデータマート提供と、事業部のデータ活用支援 ・各種メタデータを統合的に集約したデータカタログの展開によるヒューマン・AIフレンドリーな意思決定支援の価値最大化 ・セマンティックレイヤーによる指標定義の実装 ・安定した指標提供におけるセマンティックレイヤー自体の費用対効果の技術検証、その他カタログなどのツール間の比較検証などのR&D活動 ・AIエージェント向けアクセス経路の整備やエージェント品質の継続評価・民主化に向けた仕組み作り ③運用・ガバナンス領域 ・GitHub Actions を軸としたCI/CD・自動デプロイ・規約lintの運用・改善 ・BigQueryの利用実態モニタリングとコスト最適化(FinOps)への参画 ・事業部からのデータ要望に対する要求・要件定義、スコープ合意からデリバリーまでの一連の対応 ・Claude Code等のAIエージェントを開発ワークフローに組み込んだ、エンジニアリング業務の生産性改善を通したDataOpsのエンハンス ・アクセス制御(列レベルマスキング・行レベルアクセス・個人情報カラムの自動特定)のdbt/Terraformによる実装 【チームの紹介】 ・全社・事業部でのデータ活用を支えるため、データ基盤の整備・運用、データマートの構築、BIツールの活用支援を担当 ・新データ基盤が本番稼働し旧システム群の停止が完了したことを受け、現在はdbtへの移行やセマンティックレイヤー・データカタログの整備を進め、より多くのメンバーが安心してデータを活用できる環境づくりに注力 ・社内のデータ民主化をさらに進めるとともに、経営課題に対する戦略的な意思決定を支えるデータ分析基盤の高度化にも取り組んでいる 【プロダクト開発環境】 ・インフラ:GCP, AWS ・プロジェクトデザイン:Miro, Figma ・利用言語やフレームワーク:Python, Go, SQL ・ドキュメント管理:Confluence, Google Drive ・チケット管理:Jira ・コミュニケーション:Slack ・コンテナ技術:Docker, Kubernetes ・Data Warehouse:BigQuery ・ETL:Cloud Functions, Dataform ・データコレクタ:Dataflow, Pub/Sub ・Database:Cloud SQL, Cloud Spanner, AlloyDB, PostgreDB(Amazon RDS) ・構成管理:Terraform ・監視:Cloud Monitoring, NewRelic ・ワークフロー:Airflow ・CI/CD:GitHub Actions

●業務概要 パーソルグループ企業もしくは提携企業にて顧客や社内の部門に対して、お客様が保有する様々なデータを活用可能な形に処理し、データ分析のための基盤構築をお任せします。 データサイエンティスト/アナリストが行う仕事の基盤をつくり、お客様が抱える課題を解決まで導く業務となります。 ●業務詳細 ・データ収集・連携 　└外部SaaS/業務システムなど異なるソースからのデータ取り込み 　└バッチ開発やストリーミング処理 ・データ基盤の設計・構築・運用 　└DWH・DB・テーブルの設計(SQL、スキーマ、パーティショニング) 　└クラウドインフラの構築(AWS/GCP/Azure)、セキュリティ・ネットワーク設定、コスト最適化 ・データ整備・品質管理 　└ETL/ELTパイプラインの実装(dbt、Apache Kafka、Apache Spark) 　└データモデリング(スタースキーマ・Snowflake)、メタデータ管理、データカタログ整備 ・データ品質監視 　└検査ルール、データガバナンスの設定 　└アラート対応、テスト設計 ・提供・可視化支援 　└分析用マートの提供、BIツールへの接続最適化・可視化(Looker、Tableau、Power BI) ・運用・信頼性 　└パイプラインの監視・障害対応・パフォーマンスチューニング 　└Gitによる変更管理 プロジェクト例 ●Databricksを用いたデータ基盤の設計構築 <業務内容> 　・Databricks上のデータ基盤の設計/構築/検証 　・SAPのテーブルをDatabricksに連携 　・S3のテーブルをDatabricksに連携 　・ストリーミングテーブルの実装、ジョブ作成 <技術> 　Databricks, PySpark, SparkSQL, PowerBI, Git ●dbtを用いたETL、データパイプライン構築 <業務内容> 　・データパイプライン構築、フロー図作成 　・Bigqueryからのデータ抽出、データマートの設計・開発 　・ワークフローの監視 　・バッチ処理開発・運用 　・Tableauダッシュボードの設計・構築・運用 <技術> 　GCP(Bigquery,GCS), dbt, Tableau, Git