データエンジニア(Google Cloud SQL)の求人・転職情報

●主にお任せしたいこと ①データ収集・パイプライン領域 ・各DBのデイリーミラーリング取込基盤の運用・改善(ジョブフロー再設計、取込時バリデーション、エラー通知の整合性改善、障害対応と再発防止) ・TROCCO・Cloud Workflows・Cloud Run を用いた非DBデータの取込パイプライン構築・運用 ・生成AIを組み込んだ、書式揺れに強い非構造データ取込パイプラインの構築 ・取込ソース追加のゼロデプロイ化(設定駆動化)など、DE運用工数を構造的に減らす自動化 ・Reverse ETL等の新しいデータ連携要件への対応と、取込基盤の適用範囲拡大 ②データモデリング・提供領域 ・4層モデリング設計方針に基づく staging / dwh(dim・fct)/ mart 各レイヤーのdbtモデル実装と、テストによる品質担保 ・BI(Looker Studio / Lightdash等)へのデータマート提供と、事業部のデータ活用支援 ・各種メタデータを統合的に集約したデータカタログの展開によるヒューマン・AIフレンドリーな意思決定支援の価値最大化 ・セマンティックレイヤーによる指標定義の実装 ・安定した指標提供におけるセマンティックレイヤー自体の費用対効果の技術検証、その他カタログなどのツール間の比較検証などのR&D活動 ・AIエージェント向けアクセス経路の整備やエージェント品質の継続評価・民主化に向けた仕組み作り ③運用・ガバナンス領域 ・GitHub Actions を軸としたCI/CD・自動デプロイ・規約lintの運用・改善 ・BigQueryの利用実態モニタリングとコスト最適化(FinOps)への参画 ・事業部からのデータ要望に対する要求・要件定義、スコープ合意からデリバリーまでの一連の対応 ・Claude Code等のAIエージェントを開発ワークフローに組み込んだ、エンジニアリング業務の生産性改善を通したDataOpsのエンハンス ・アクセス制御(列レベルマスキング・行レベルアクセス・個人情報カラムの自動特定)のdbt/Terraformによる実装 【チームの紹介】 ・全社・事業部でのデータ活用を支えるため、データ基盤の整備・運用、データマートの構築、BIツールの活用支援を担当 ・新データ基盤が本番稼働し旧システム群の停止が完了したことを受け、現在はdbtへの移行やセマンティックレイヤー・データカタログの整備を進め、より多くのメンバーが安心してデータを活用できる環境づくりに注力 ・社内のデータ民主化をさらに進めるとともに、経営課題に対する戦略的な意思決定を支えるデータ分析基盤の高度化にも取り組んでいる 【プロダクト開発環境】 ・インフラ:GCP, AWS ・プロジェクトデザイン:Miro, Figma ・利用言語やフレームワーク:Python, Go, SQL ・ドキュメント管理:Confluence, Google Drive ・チケット管理:Jira ・コミュニケーション:Slack ・コンテナ技術:Docker, Kubernetes ・Data Warehouse:BigQuery ・ETL:Cloud Functions, Dataform ・データコレクタ:Dataflow, Pub/Sub ・Database:Cloud SQL, Cloud Spanner, AlloyDB, PostgreDB(Amazon RDS) ・構成管理:Terraform ・監視:Cloud Monitoring, NewRelic ・ワークフロー:Airflow ・CI/CD:GitHub Actions

ソフトウェアエンジニアとしてデータ基盤・データパイプライン・データ品質を中心に、自社プロダクトおよび顧客向けソリューションを支える開発に関わっていただきます。 実装(バッチ/ワークフロー/IaC)、テストと CI、監視・インシデント対応、スキーマやパフォーマンスの設計などデータエンジニアリングのアウトカムをエンジニアリングの作法で追求する役割です。 データ分析、プロダクト開発、生成AI関連など志向・経験に応じて幅を持たせることも可能です。 ※社内の配属先はご経験やご希望を踏まえた上でご本人様とご相談しながら決定いたします 【具体的な業務内容】 ・データ基盤の設計、構築、テスト、開発、保守、運用(コードレビュー・リリースプロセスを含む) ・自社プロダクト/分析サービスのデータパイプラインの設計、構築、運用 ・生成AI導入における顧客支援(データ接続・ガバナンス・評価基盤など、実装に近い領域) ●事例 ・自社開発したデータ分析基盤のアセスメントと高度化(三菱地所株式会社) https://nowcast.co.jp/case-studies/20240710/ https://nowcast.co.jp/news/20260218/ ・ナウキャスト、「Snowflake」を活用し、野村フィデューシャリー・リサーチ&コンサルティングの新たなデータ基盤を構築 https://nowcast.co.jp/news/20241021/ ・Finatextグループのナウキャスト、ファイナンシャルアドバイザリー業務の効率化を生成AIで支援する「Finatext Advisory Assist」を提供開始 https://nowcast.co.jp/news/20240419/ ・ニッセイアセットマネジメントの社員発アイデアをもとにした生成AI社内アプリケーションを開発 https://nowcast.co.jp/news/20240731 ・ナウキャスト、大和アセットマネジメント専用の生成AIアプリケーション「DAM-AICore」を開発 https://nowcast.co.jp/news/20260107/ ・ナウキャスト、デジタルガレージのグループ横断データ基盤の構築を支援 https://nowcast.co.jp/news/20260217/ ・ナウキャスト、AIエージェント統制基盤「MCPass」β版を開発 https://nowcast.co.jp/news/20260417/ ●こんな経験を活かせます ①データインフラの「ソフトウェア製品化」という潮流の中でソフトウェアエンジニアを通じて培ってこられたのシステム設計・開発スキルが直接活かせる ②マイクロサービス設計の知見をデータメッシュやレイクハウス設計に応用可能 ③TDD/CI/CDの経験をデータパイプラインの自動テスト・品質保証に展開可能 ④DBチューニング経験を活かし、大規模DWH・クエリ最適化・パフォーマンス改善で活躍可能 ③ソフトウェアエンジニア経験で培った論理的思考や可読性・保守性へのこだわりがデータ品質・再現性・スキーマ設計にも直結 ●参考記事 ・ソフトウェアエンジニアからデータエンジニアへ転身して分かった「楽しさ」と「活きるスキル」 https://zenn.dev/finatext/articles/software-engineer-to-data-engineer ・ソフトウェアエンジニアとデータエンジニアの違い・キャリアチェンジ https://speakerdeck.com/mtpooh/swe-vs-de-lt ●技術スタック Python、dbt、Airflow、Snowflake、Redshift、Terraform、Vue.js、React、AWS、Google Cloud、Azure