BIエンジニア(DynamoDB)の求人・転職情報

●主にお任せしたいこと ①データ収集・パイプライン領域 ・各DBのデイリーミラーリング取込基盤の運用・改善(ジョブフロー再設計、取込時バリデーション、エラー通知の整合性改善、障害対応と再発防止) ・TROCCO・Cloud Workflows・Cloud Run を用いた非DBデータの取込パイプライン構築・運用 ・生成AIを組み込んだ、書式揺れに強い非構造データ取込パイプラインの構築 ・取込ソース追加のゼロデプロイ化(設定駆動化)など、DE運用工数を構造的に減らす自動化 ・Reverse ETL等の新しいデータ連携要件への対応と、取込基盤の適用範囲拡大 ②データモデリング・提供領域 ・4層モデリング設計方針に基づく staging / dwh(dim・fct)/ mart 各レイヤーのdbtモデル実装と、テストによる品質担保 ・BI(Looker Studio / Lightdash等)へのデータマート提供と、事業部のデータ活用支援 ・各種メタデータを統合的に集約したデータカタログの展開によるヒューマン・AIフレンドリーな意思決定支援の価値最大化 ・セマンティックレイヤーによる指標定義の実装 ・安定した指標提供におけるセマンティックレイヤー自体の費用対効果の技術検証、その他カタログなどのツール間の比較検証などのR&D活動 ・AIエージェント向けアクセス経路の整備やエージェント品質の継続評価・民主化に向けた仕組み作り ③運用・ガバナンス領域 ・GitHub Actions を軸としたCI/CD・自動デプロイ・規約lintの運用・改善 ・BigQueryの利用実態モニタリングとコスト最適化(FinOps)への参画 ・事業部からのデータ要望に対する要求・要件定義、スコープ合意からデリバリーまでの一連の対応 ・Claude Code等のAIエージェントを開発ワークフローに組み込んだ、エンジニアリング業務の生産性改善を通したDataOpsのエンハンス ・アクセス制御(列レベルマスキング・行レベルアクセス・個人情報カラムの自動特定)のdbt/Terraformによる実装 【チームの紹介】 ・全社・事業部でのデータ活用を支えるため、データ基盤の整備・運用、データマートの構築、BIツールの活用支援を担当 ・新データ基盤が本番稼働し旧システム群の停止が完了したことを受け、現在はdbtへの移行やセマンティックレイヤー・データカタログの整備を進め、より多くのメンバーが安心してデータを活用できる環境づくりに注力 ・社内のデータ民主化をさらに進めるとともに、経営課題に対する戦略的な意思決定を支えるデータ分析基盤の高度化にも取り組んでいる 【プロダクト開発環境】 ・インフラ:GCP, AWS ・プロジェクトデザイン:Miro, Figma ・利用言語やフレームワーク:Python, Go, SQL ・ドキュメント管理:Confluence, Google Drive ・チケット管理:Jira ・コミュニケーション:Slack ・コンテナ技術:Docker, Kubernetes ・Data Warehouse:BigQuery ・ETL:Cloud Functions, Dataform ・データコレクタ:Dataflow, Pub/Sub ・Database:Cloud SQL, Cloud Spanner, AlloyDB, PostgreDB(Amazon RDS) ・構成管理:Terraform ・監視:Cloud Monitoring, NewRelic ・ワークフロー:Airflow ・CI/CD:GitHub Actions

業務内容 弊社は現在、データウェアハウス(DWH)を活用した最先端のデータソリューションに注力しており、その戦略の中核を担うデータエンジニアを募集します。DWHを中心としたデータ基盤の設計・構築から、データ活用、さらには高度な分析基盤の構築までを幅広く手掛け、お客様のビジネス課題解決とデジタルトランスフォーメーション(DX)を強力に推進していただきます。 具体的な仕事内容 ●顧客の課題ヒアリングからのソリューション提案、顧客との要件定義 ●データウェアハウス/データレイクの設計・構築・運用・改善 ●BIツールや分析基盤の導入・運用支援、データ可視化 ●データ活用のためのルール整備とセキュリティ強化 使用技術(例) ●クラウドプラットフォーム: AWS (S3, Kinesis, SQS等), Azure (Blob Storage, Event Hubs等), GCP (Cloud Storage, Pub/Sub等) ●データベース: PostgreSQL, MySQL, DynamoDB ●データウェアハウス: Snowflake, Amazon Redshift, Google BigQuery, Databricks ●データ処理基盤: Python, SQL, Java ●ETL/ELT サービス: TROCCO, Fivetran, Talend, dbt, AWS Glue, Azure Data Factory, Google Cloud Dataflow ●BIツール/データアプリケーション: Tableau, Power BI, AWS QuickSight, Looker, Streamlit ●その他: Git, Docker, Terraform メインとなる顧客業界は小売・流通業界となりますが、お客様の課題解決のため、その他の業界のプロジェクトにも積極的に取り組んでいます。 特定の業界経験や深い知識は入社時点では必須ではありませんが、プロジェクトを通じて様々な業界のドメイン知識を習得し、顧客業務への理解を深めていただくことを期待しています。 データエンジニアとして幅広いフィールドで活躍したいという意欲のある方を歓迎します。 顧客課題の解決やプロジェクトの成功を最優先にITプロフェッショナルとして、自身のスキルセットを柔軟に変容させながら、データ技術の進化と共に、自らも成長し続ける意欲のある方をお待ちしています。 ※担当案件によっては当社正社員として、客先企業へ無期雇用派遣となる可能性があります 【変更の範囲※1】 会社内の全ての業務、客先の業務、将来的に出向を実施した場合は出向先の全ての業務(ただし本人と相談の上で決定します) ※1 「変更の範囲」とは、将来の配置転換などによって変わり得る就業場所・業務の範囲を指します。