データエンジニア(Amazon Aurora)の求人・転職情報

GOのデータ基盤では、3,500万ダウンロードのタクシーアプリ『GO』のデータなど、1日に10億レコード規模のデータを収集し、活用しています。 データの主な活用方法は二つあります。 一つはデータプロダクトの開発であり、データをもとにAIや高度なアルゴリズムを開発しタクシーアプリ『GO』に機能として組み込んでいます。 もう一つは意思決定支援であり、約30名のデータアナリストやデータサイエンティストがデータ分析し、その結果を元にビジネス担当やプロダクトマネージャがプロジェクトの効果測定や意思決定をしています。 本ポジションは、このデータ基盤を支えるデータエンジニアです。 仕事内容 データ基盤とデータプロダクトの実行基盤を担当いただきます。 ●データ基盤 ・大規模な車両データをDataflow等を用いてBigQueryに収集 ・3,500万ダウンロードのアプリケーションのDBとログのデータをBigQueryに収集 ・地図を始めとした外部データをデータ基盤に収集 ・データ加工バッチの開発・運用、Google Cloudの様々なサービスを用いて実現 ・StreamlitやLookerなど分析ツールのホスティング ・100人規模の利用者の管理、セキュリティコントロール ●データプロダクト実行基盤 ・タクシーアプリ『GO』でAIや高度なアルゴリズムを用いたデータプロダクトの実行基盤を設計・開発・運用 ・データサイエンティストの開発支援 ・AIモデルの学習バッチや、本番での推論サービング ・高性能かつ高可用性を担保するための設計・実装・システム運用 ・24/365のオンコール体制(待機なし・システム障害時に当番順にコールがあり対応) ●業務内容の変更範囲 会社が指定する業務全般 開発環境 ●データ基盤 ・データストア: BigQuery ・ETL: Dataflow, 独自開発(Python) ・SQLフレームワーク: Dataform ・ワークフローエンジン: Cloud Composer(Airflow) + GKE ・メタデータ管理:Dataplex ・その他ツール: Streamlit, Kepler.gl, Kubeflow ・言語: Python ●データプロダクト実行基盤 ・データストア:Redis, AWS Aurora(MySQL, PostgreSQL) ・実行基盤:AWS:AKE etc ・言語: Go, Python ・モニタリング: Grafana, Sentry ・その他ツール:Feast ●開発環境 ・LLM: Github Copilot, Claude code, gemini, MCPs etc ・IDE: VS Code etc ・CI / CD: GitHub Action ・VCS: GitHub ・その他 Google Workspace, Slack 所属組織 AI技術開発部 データプラットフォームグループ:4名 ※関連チーム ・データサイエンティスト:20名 ・データアナリスト:8名 ・データアーキテクト:5名

ご経験と志向性に合わせて、下記のような役割をお任せいたします。 【概要】 2024年にM&Aで獲得した「ミセシル」事業のエンジニアを募集しています。 ミセシルは3,000万人規模の位置情報データを扱う人流分析AI Agentです。 上記のデータを活用した分析プロダクトの開発を進めており、一緒に手を動かして事業を前に進めるメンバーを新たに迎えたいと考えています。 【主な業務内容】 3,000万人規模の位置情報データを活用し、商業施設向けの分析プロダクトを開発しています。今までのミセシルのダッシュボードを刷新していく開発と、新たに進めているPoC向けの新規開発の両方に携わります。 担当領域を技術で固定することはなく、プロダクトの状況に応じて、アプリケーション開発からデータ基盤の構築まで横断的に手を動かします。 並行して、稼働中の既存システムの安定運用・改善も担います。 ・ダッシュボードの刷新に向けた開発 ・PoC向けの新規開発 ・位置情報データを用いたデータ基盤の開発 ・稼働中の既存システムの安定化・改善 【技術スタック】 ・バックエンド:Python、FastAPI ・フロントエンド:TypeScript、React、Vite ・データ基盤:Snowflake、dbt ・データ取り込み:S3、Snowpipe、Snowflake Tasks ・データベース:Aurora PostgreSQL Serverless v2 ・インフラ:AWS(ECS、ECR、S3、Aurora)、Terraform、Valkey ・開発環境:GitHub、GitHub Actions、Docker、Claude Code

【Divisionのミッション・ビジョン】 先端技術・アジャイルを用いた、KDDIグループのData×AI領域への貢献 【Unitのミッション・ビジョン】 最先端 Data × AI 基盤の継続的な提供・高度化 【募集背景】 Data × AI プロジェクト拡大に伴い、 設計〜実装を自走できる主担当(サブリーダー) を増員 ●業務内容 ■ 案件イメージ ◆分析基盤構築:KDDIの約4,000万人規模のお客様から得られるテラバイト級のデータをもとに、分析や機械学習によって示唆を出し、業務改善、マーケティング等に活用するための基盤構築。利用者:ARISE社内分析者、KDDIのマーケティング施策担当/分析担当など ◆アクセスログ収集基盤構築:KDDIの各種サービスにおけるテラバイト級のアクセスログをニアリアルタイムで収集、蓄積、加工し、分析・BI・他システムへ連携する基盤構築。利用者:KDDIのマーケティング施策担当/分析担当など ◆配信基盤構築:KDDIのお客様に対して、個々のニーズに合わせつつ、大量配信を実現するマーケティングオートメーション基盤の構築。利用者:KDDIのマーケティング施策担当など ■ポジションの期待役割 データ分析基盤及びデータ処理・連携システムの要件定義/設計/開発/運用​ (案件のフェーズを踏まえ、ご担当いただく工程を決定いたします)​ 例)以下の業務の主担当 ・データ基盤の詳細設計〜実装 ・技術的課題の特定・改善 ・技術的な顧客コミュニケーション ・サブPMとして進捗・タスク管理 ■具体的な業務内容 ・要件整理〜仕様作成 ・Spark / Databricks / BigQuery / Snowflake / Python / SQLなどを用いた各種設計・開発 ・ETL/ELT設計・開発 ・DWH→BI連携設計・開発 ・CI/CD環境設計・構築 ・問題切り分け〜改善提案 ・技術選定/PoC ・ドキュメンテーション ■ 1日の流れ(例) AM:要件整理/設計補助→実装 PM:レビュー/顧客折衝 → 次アクション定義