ITエンジニア転職ならテックゴー

データベースエンジニア(Spark)の求人・転職情報

該当求人数 2 件

1~2件を表示

株式会社NTTデータ

【テクノロジー】先進的基盤技術に関する技術開発を担うITスペシャリスト/ミドルウェア開発者<395>

データベースエンジニア

700～1,100万円

MySQL

Spark

正社員

豊洲

ITスペシャリストもしくはミドルウェア開発者として、先進的基盤技術領域(分散システム/データベース/コンテナ技術/クラウド基盤/ハードウェアアクセラレータ/量子コンピューティングなど)に関する技術開発を担う。具体的には以下の役割となる。 ①先進基盤技術に関する技術検証やリファレンスアーキテクチャの整備　・新技術やソフトウェアを調査・検証して、その有用性や将来性について評価し、不足する機能/非機能を補うための技術開発を担う・当社およびお客様のシステムでの適用可能性や品質を担保するためのアーキテクチャやノウハウの整理・発信を行う ②技術課題の解決/案件支援・先進的な/重要なお客様に対する技術支援を行い、その中で生じる高度な技術課題を解決する・技術支援でともに活動するメンバに対して、技術的な見知から育成する

詳細を見る

まずは相談する

【テクノロジー】先進的基盤技術に関する技術開発を担うITスペシャリスト/ミドルウェア開発者<395>

データベースエンジニア

正社員

700～1,100万円

豊洲

MySQL

Spark

株式会社NTTデータ

詳細を見る

この求人について問い合わせる

パーソルクロステクノロジー株式会社

NEW

DX456【首都圏/DX】ハイ/データアーキテクト

データベースエンジニア

600～1,200万円

Spark

Docker

Java

Snowflake

Microsoft Azure

Kaggle

正社員

東京都新宿区

●業務概要パーソルグループ企業もしくは提携企業にて顧客や社内の部門に対して、お客様が保有する様々なデータを活用可能な形に処理し、データ分析のための基盤構築をお任せします。データサイエンティスト/アナリストが行う仕事の基盤をつくり、お客様が抱える課題を解決まで導く業務となります。 ●業務詳細・データ収集・連携　└外部SaaS/業務システムなど異なるソースからのデータ取り込み　└バッチ開発やストリーミング処理・データ基盤の設計・構築・運用　└DWH・DB・テーブルの設計(SQL、スキーマ、パーティショニング) 　└クラウドインフラの構築(AWS/GCP/Azure)、セキュリティ・ネットワーク設定、コスト最適化・データ整備・品質管理　└ETL/ELTパイプラインの実装(dbt、Apache Kafka、Apache Spark) 　└データモデリング(スタースキーマ・Snowflake)、メタデータ管理、データカタログ整備・データ品質監視　└検査ルール、データガバナンスの設定　└アラート対応、テスト設計・提供・可視化支援　└分析用マートの提供、BIツールへの接続最適化・可視化(Looker、Tableau、Power BI) ・運用・信頼性　└パイプラインの監視・障害対応・パフォーマンスチューニング　└Gitによる変更管理プロジェクト例 ●Databricksを用いたデータ基盤の設計構築 <業務内容> 　・Databricks上のデータ基盤の設計/構築/検証　・SAPのテーブルをDatabricksに連携　・S3のテーブルをDatabricksに連携　・ストリーミングテーブルの実装、ジョブ作成 <技術> 　Databricks, PySpark, SparkSQL, PowerBI, Git ●dbtを用いたETL、データパイプライン構築 <業務内容> 　・データパイプライン構築、フロー図作成　・Bigqueryからのデータ抽出、データマートの設計・開発　・ワークフローの監視　・バッチ処理開発・運用　・Tableauダッシュボードの設計・構築・運用 <技術> 　GCP(Bigquery,GCS), dbt, Tableau, Git

詳細を見る

まずは相談する

NEW