データエンジニア(Amazon Aurora)の求人・転職情報

GO株式会社

GOのデータ基盤では、3,500万ダウンロードのタクシーアプリ『GO』のデータなど、1日に10億レコード規模のデータを収集し、活用しています。 データの主な活用方法は二つあります。 一つはデータプロダクトの開発であり、データをもとにAIや高度なアルゴリズムを開発しタクシーアプリ『GO』に機能として組み込んでいます。 もう一つは意思決定支援であり、約30名のデータアナリストやデータサイエンティストがデータ分析し、その結果を元にビジネス担当やプロダクトマネージャがプロジェクトの効果測定や意思決定をしています。 本ポジションは、このデータ基盤を支えるデータエンジニアです。 仕事内容 データ基盤とデータプロダクトの実行基盤を担当いただきます。 ●データ基盤 ・大規模な車両データをDataflow等を用いてBigQueryに収集 ・3,500万ダウンロードのアプリケーションのDBとログのデータをBigQueryに収集 ・地図を始めとした外部データをデータ基盤に収集 ・データ加工バッチの開発・運用、Google Cloudの様々なサービスを用いて実現 ・StreamlitやLookerなど分析ツールのホスティング ・100人規模の利用者の管理、セキュリティコントロール ●データプロダクト実行基盤 ・タクシーアプリ『GO』でAIや高度なアルゴリズムを用いたデータプロダクトの実行基盤を設計・開発・運用 ・データサイエンティストの開発支援 ・AIモデルの学習バッチや、本番での推論サービング ・高性能かつ高可用性を担保するための設計・実装・システム運用 ・24/365のオンコール体制(待機なし・システム障害時に当番順にコールがあり対応) ●業務内容の変更範囲 会社が指定する業務全般 開発環境 ●データ基盤 ・データストア: BigQuery ・ETL: Dataflow, 独自開発(Python) ・SQLフレームワーク: Dataform ・ワークフローエンジン: Cloud Composer(Airflow) + GKE ・メタデータ管理:Dataplex ・その他ツール: Streamlit, Kepler.gl, Kubeflow ・言語: Python ●データプロダクト実行基盤 ・データストア:Redis, AWS Aurora(MySQL, PostgreSQL) ・実行基盤:AWS:AKE etc ・言語: Go, Python ・モニタリング: Grafana, Sentry ・その他ツール:Feast ●開発環境 ・LLM: Github Copilot, Claude code, gemini, MCPs etc ・IDE: VS Code etc ・CI / CD: GitHub Action ・VCS: GitHub ・その他 Google Workspace, Slack 所属組織 AI技術開発部 データプラットフォームグループ:4名 ※関連チーム ・データサイエンティスト:20名 ・データアナリスト:8名 ・データアーキテクト:5名

Sansan株式会社

●サービスについて 当社が保有する膨大なビジネスデータ(名刺、企業情報、接点情報など)と、社内外の多様なデータを統合・活用するための基盤構築および推進を担います。 「sansan」を単なる名刺管理から「ビジネスインフラ」へと進化させるためのデータ基盤整備、または顧客へのデータ活用価値を届ける「sansan bi」の導入・構築支援を行います。 具体的な業務 経験や適性に応じて、以下のいずれかの領域を中心に担当します。 1.データ基盤・アーキテクチャー設計(データエンジニア) 全社横断データ基盤または次世代データ統合基盤のアーキテクチャー設計・構築 大規模データパイプライン(ETL/ELT)の開発・運用(Dataform, dbt, Airflowなど) データ品質管理、ガバナンス策定、技術的負債の解消 2.データ活用推進・BI構築(データディレクター/エンジニア) 顧客や社内ユーザーの課題解決に向けたダッシュボード設計・実装(Looker, BigQuery) データモデリング(スタースキーマなど)およびSQLによるデータマート構築 顧客へのBI導入支援、要件定義、活用定着までのプロジェクトマネジメント 3.データマネジメント・組織貢献 各プロダクトチームへのデータ活用支援、ナレッジ共有、教育 新技術(生成AI、最新DWH機能など)の検証・導入推進 ●従事すべき業務の変更の範囲 会社の定める業務 ●記載内容に関する注意事項 本求人票に記載の内容は、会社の方針によって変更になる可能性があります。 主な技術スタック ●開発言語 -Python, SQL, Ruby, TypeScript, Rust ●データベース・検索基盤 -BigQuery, Aurora MySQL, Redshift, OpenSearch -Dataform, dbt, Cloud Composer, Airflow -Looker, Tableau ●インフラ -Google Cloud, AWS, Terraform, Docker ●その他(ソースコード管理・コミュニケーション・デザイン連携etc) -GitHub

株式会社GROWTH VERSE

ご経験と志向性に合わせて、下記のような役割をお任せいたします。 【概要】 2024年にM&Aで獲得した「ミセシル」事業のエンジニアを募集しています。 ミセシルは3,000万人規模の位置情報データを扱う人流分析AI Agentです。 上記のデータを活用した分析プロダクトの開発を進めており、一緒に手を動かして事業を前に進めるメンバーを新たに迎えたいと考えています。 【主な業務内容】 3,000万人規模の位置情報データを活用し、商業施設向けの分析プロダクトを開発しています。今までのミセシルのダッシュボードを刷新していく開発と、新たに進めているPoC向けの新規開発の両方に携わります。 担当領域を技術で固定することはなく、プロダクトの状況に応じて、アプリケーション開発からデータ基盤の構築まで横断的に手を動かします。 並行して、稼働中の既存システムの安定運用・改善も担います。 ・ダッシュボードの刷新に向けた開発 ・PoC向けの新規開発 ・位置情報データを用いたデータ基盤の開発 ・稼働中の既存システムの安定化・改善 【技術スタック】 ・バックエンド:Python、FastAPI ・フロントエンド:TypeScript、React、Vite ・データ基盤:Snowflake、dbt ・データ取り込み:S3、Snowpipe、Snowflake Tasks ・データベース:Aurora PostgreSQL Serverless v2 ・インフラ:AWS(ECS、ECR、S3、Aurora)、Terraform、Valkey ・開発環境:GitHub、GitHub Actions、Docker、Claude Code

株式会社ARISE analytics

【Divisionのミッション・ビジョン】 先端技術・アジャイルを用いた、KDDIグループのData×AI領域への貢献 【Unitのミッション・ビジョン】 最先端 Data × AI 基盤の継続的な提供・高度化 【募集背景】 Data × AI プロジェクト拡大に伴い、 設計〜実装を自走できる主担当(サブリーダー) を増員 ●業務内容 ■ 案件イメージ ◆分析基盤構築:KDDIの約4,000万人規模のお客様から得られるテラバイト級のデータをもとに、分析や機械学習によって示唆を出し、業務改善、マーケティング等に活用するための基盤構築。利用者:ARISE社内分析者、KDDIのマーケティング施策担当/分析担当など ◆アクセスログ収集基盤構築:KDDIの各種サービスにおけるテラバイト級のアクセスログをニアリアルタイムで収集、蓄積、加工し、分析・BI・他システムへ連携する基盤構築。利用者:KDDIのマーケティング施策担当/分析担当など ◆配信基盤構築:KDDIのお客様に対して、個々のニーズに合わせつつ、大量配信を実現するマーケティングオートメーション基盤の構築。利用者:KDDIのマーケティング施策担当など ■ポジションの期待役割 データ分析基盤及びデータ処理・連携システムの要件定義/設計/開発/運用​ (案件のフェーズを踏まえ、ご担当いただく工程を決定いたします)​ 例)以下の業務の主担当 ・データ基盤の詳細設計〜実装 ・技術的課題の特定・改善 ・技術的な顧客コミュニケーション ・サブPMとして進捗・タスク管理 ■具体的な業務内容 ・要件整理〜仕様作成 ・Spark / Databricks / BigQuery / Snowflake / Python / SQLなどを用いた各種設計・開発 ・ETL/ELT設計・開発 ・DWH→BI連携設計・開発 ・CI/CD環境設計・構築 ・問題切り分け〜改善提案 ・技術選定/PoC ・ドキュメンテーション ■ 1日の流れ(例) AM:要件整理/設計補助→実装 PM:レビュー/顧客折衝 → 次アクション定義