資格取得支援制度あり SparkのITエンジニア求人・転職情報

当社は、福岡エリアの金融機関向けにITコンサルティングおよびAI活用支援をより強化すべく、2025年7月に福岡オフィスを開設いたしました。 本ポジションでは、データ基盤構築やAI活用基盤構築に関する企画や基盤設計、構築に関するプロジェクトにおいて、そのスペシャリストとして参画いただくポジションとなります。大手金融機関やそのHD様の案件がメインとなっており、そのような金融機関様のデータ活用の基礎となる大規模なデータ基盤構築に関わることができます。企画、設計、基盤普及を中心とした様々なフェーズに参画することができます。 具体的な案件例として以下のようなものがあります。当社が扱う案件のほとんどが直請の大手金融機関様との案件となっており、日本を代表する様々な企業様でのデータ分析・基盤構築の経験をすることができます。 プロジェクト体制 2名～6名程度でチーミング 具体的な業務内容 ・金融機関向けのデータ基盤およびAI活用基盤構築プロジェクトにおける、設計・開発・運用支援の実行 ・データ収集・加工・集計・クレンジングなど、分析・AI活用に向けたデータ整備処理の実装 ・PythonやSQL、Spark、Airflowなどを用いたデータパイプライン構築および運用 ・AWS/GCP/Azureなどクラウド環境上でのDWH/データレイク構築支援 ・Snowflake、Databricksなどを活用した基盤構築・性能チューニングの実施 ・データ品質向上やガバナンス観点からのモニタリング設定、改善対応 ・AI・データサイエンティストやアーキテクトと連携した分析基盤の整備 ・自社プロダクト(Trust GenGA/Trust TLanP)におけるデータ連携・検証支援 プロジェクト事例 ・証券会社様におけるデジタルマーケティング基盤の構築支援 ・金融コングロマリット様でのグループ横断データ活用基盤企画推進支援 ・カード会社様・証券会社様・信託銀行・銀行、金融HD様などでのAI人材育成の推進、データ活用CoE組織 ・銀行様におけるAutoMLツールの比較検討、導入支援 ・銀行様における市場分析モデルの開発、運用支援 ・証券会社様におけるAI活用コンサルティング支援開発支援 ・生成AI等を活用した金融事務の効率化、ビジネスプロセス変革(当社プロダクトTrust GenGAを活用) ・生成AI等を活用したレガシーシステムマイグレーション支援(当社プロダクトTrust TLanPを活用 ) ※業務変更の範囲 (雇入れ直後)IT専門職 (変更の範囲)すべての業務への配置転換あり

●データ基盤の設計・開発・運用(DWH、ETLパイプラインなど) ●クライアントのシステム・データ環境を整理し、最適なアーキテクチャを構築 ●データ収集・加工・蓄積プロセスの設計による分析基盤の最適化 ●分析チームやビジネス部門と連携したデータ活用環境の高度化 ●具体的なプロジェクト例 ・大手損保会社におけるDX推進/ICT戦略/AI戦略策定 ・コンプライアンス領域におけるAI/データ独自プロダクト開発 ・大手銀行における海外ATM送金最適化モデル構築 ・外資生命保険会社におけるCDP整備・デジタルマーケティング高度化 ・人材会社におけるAIエージェントによる業務効率化　等 ●業界例 ・金融:損害保険、生命保険、ネット生命保険、ネット銀行、証券、ネット証券　等 ・メーカー:食品、生活消費財、医療機器、製薬、化粧品　等 ・小売:百貨店、家電量販店、自動車販売・流通、営業/販売アウトソーシング　等 ・BPO/SIer:BPO、広告代理店、建設コンサル、ITサービス　等 上記他、官公庁、総合商社、不動産、研究機関、メディア等を含む業界リーディングカンパニーが当社クライアントとなります。 ●中長期のキャリア AIコンサルタント/データ活用コンサルタントを中軸に構えつつ、データサイエンス・データエンジニアリング領域における専門家キャリアを用意しています。 ・AI/データ活用コンサルティング領域 　ビジネス/データサイエンス/データエンジニアリングの要素を併せ持ったデータ活用コンサルティングキャリア ・データサイエンス領域: 　高度な数理素養と技術力を有する、データサイエンティストやAIエンジニア等の専門性に特化したキャリア ・データエンジニアリング領域 　データアーキテクチャ/データマネジメント/データガバナンス等に特化したデータ専門家キャリア ●サポート体制 当部署では、新入社員の皆様が安心して技術力を高められるよう、サポート体制を整備しております。 経験豊かなデータ分析の専門家がメンターとしてつき、あなたの技術的な質問や課題解決をきめ細やかに支援します。これに加えて、毎月の定期的な面談を通じて、あなたの描くキャリアプランやキャリアパスを共有し、それに合致する案件や役割への参画を積極的に支援いたします。 ●各種研修制度 ・ビジュアライゼーション研修(Tableau有識者によるトレーニング) ・データ基盤研修(Databricks資格取得手当あり) ・Dataikuをベースとした学習支援 ・クラウド技術資格取得手当あり ●会社概要 WorkXは、既存のコンサルティングファームの枠組みを超え、自らもAIを活用したプロダクト等を創出・運営する「ハイブリッドファーム」です。 他社へのコンサルティングだけでなく、自社での事業創出を通じたクライアント提供価値の最大化に重きを置いており、 AI・データを活用したコンサルティング&エンジニアリングサービス「LeanDataX」 戦略・IT・DX・経営などの領域における大手企業向けのコンサルティング&事業創出支援「LeanX」 8,000人以上のハイエンドプロフェッショナルが登録する人材プラットフォーム「ProConnect」 など、複数事業を展開しています。 (上記のほか、プラットフォームに関連した複数サービスを展開。過去にも地方創生など複数事業の立ち上げ実績あり。) さらに、自社で完結すること無く、グローバルトップのソリューションベンダーやアカデミアとの協創も通じ、独自のエコシステムを構築することで高水準のサービス提供を可能にしています。 売上高は創業以来、常に2桁成長。21年:3.5億→23年:16億→25年:28億 と5年で800%成長を遂げており、2028年のIPOを視野に入れ、証券会社や投資家からも高く評価されています。

業務概要 顧客企業と伴走しながら、生成AIや機械学習を組み込んだアプリケーション/システムの設計〜開発〜運用までを担当します。 <主な業務例> ・生成AIを組み込んだAIエージェントアプリケーションの開発 ・生成AIアプリケーション/システムのLLMOps/AgentOps設計・開発 ・機械学習PoCプロジェクトの本番化/製品化に向けての開発 ・機械学習アプリケーション/システムのMLOps設計・開発 ・機械学習アプリケーション/システムの新規技術・サービス調査検証 ※詳細は面接時に説明します。 プロジェクト事例 AI自動発注システム 未来型無人化店舗「SECURE AI STORE LAB」開発 技術スタック 言語:Python、SQL、Scala、Java DWH:Snowflake、BigQuery、Redshift データ基盤:Databricks、Spark、Presto、Hadoop BIツール:Tableau、Looker、PowerBI、Datorama、DOMOなど クラウド:AWS、GCP、Azure ETL/ELTツール: dbt、Fivetran、trocco、Airbyte、Talend、AWS Glue AIフレームワーク:VertexAI、SageMaker、AzureML IaCツール:Terraform、CloudFormation、Ansible

機械学習や統計モデリング、データ分析を活用して、お客様のビジネスに持続的成長と新しい可能性を創出するミッションに対し、プロジェクトマネージャーとして推進いただきます。 仮説の設定から必要データの入手・確認、分析手法の選定、検証を行うだけでなく、分析結果を元に、より深い分析計画や施策の改善提案等も行います。 また、プロジェクトの推進にあたっては、データ基盤の設計・開発・運用も担当いただきます。 プロジェクト事例 ●製造業向け機器の故障予測モデル開発 ●機械学習を用いたオークション落札価格の予測 ●金融業向け生成AIを活用した業務効率化 技術環境 言語:Python、SQL、Scala、Java DWH:Snowflake、BigQuery、Redshift データ基盤:Databricks、Spark、Presto、Hadoop BIツール:Tableau、Looker、PowerBI、Datorama、DOMOなど クラウド:AWS、GCP、Azure ETL/ELTツール: dbt、Fivetran、trocco、Airbyte、Talend、AWS Glue AIフレームワーク:VertexAI、SageMaker、AzureML IaCツール:Terraform、CloudFormation、Ansible

車載向けエッジモデルおよび机上評価用の大規模モデル開発を支える MLOps 基盤の構築・運用 をお任せいたします。 <具体的には> 膨大な量の運転データを効率的に活用するための計算基盤とモデル学習・評価パイプラインの構築、データの質と量でモデル改善に貢献するデータセットのキュレーション、モデル分析を支援するBIツール環境の整備など、ML エンジニア/MLリサーチャーの開発を加速する仕組みづくりを行っていただきます。 【業務遂行いただくうえで必要になる技術例】 ・クラウド/オンプレミス上における学習・評価パイプライン(MLOps)の設計・構築および保守・運用 ・大規模データ学習の高速化を目的とした計算基盤・分散処理・アルゴリズム最適化の検討と実行 ・データセットのキュレーション(バランス設計、データリーク防止、品質管理)およびデータセット生成パイプラインの構築 ・データやモデル評価指標を統合的に可視化する BI ツール環境の設計・構築 【使用するツール】 ※状況により柔軟に変わります ・開発言語/データ操作言語:Python、SQL ・クラウド:GCP、AWS ・OS:Linux、Windows ・深層学習フレームワーク:TensorFlow(Keras)、PyTorch ・実験管理/設定/可視化:MLflow、Hydra、TensorBoard ・MLプラットフォーム/パイプライン:Vertex AI、SageMaker ・CI/CD:GCP Cloud Build、AWS CodeBuild、AWS CodePipeline ・データETL/分散処理:Dataflow、EMR(Spark/Hadoop) ・データ分析:BigQuery、Amazon Redshift ・BIツール:Looker Studio、Amazon QuickSight ・オーケストレーション:Apache Airflow、Amazon MWAA ・コンテナ:Docker ・その他:GitLab、Confluence、Jira、Teams 【変更の範囲】 会社の定める業務(※) (※)業務の都合によっては会社外の職務に従事するため出向又は転属を命じることがあります。

【お任せする業務】 OSSを用いたビッグデータ活用システムの開発の下記のうちいずれかをご担当いただきます。 ●ビッグデータ×内製AIシステムのプラットフォーム&アプリのアジャイル開発リーダー ●装置センサーデータの収集・可視化を行う内製システムのITアーキテクト兼アジャイル開発リーダー 【具体的な仕事内容】 ●ビッグデータ×内製AIシステムのプラットフォーム&アプリのアジャイル開発リーダー [役割] ユーザ部門・アナリティクスチームと連携し、アジャイル開発を推進。価値が出るまで伴走します。 [業務内容] ・バックログ作成、スプリント運営、設計～開発～テスト～リリース～運用改善を一気通貫でリード ・プラットフォーム戦略(共通機能の整備、CI/CD、監視・可観測性の仕組み化)を検討・実行 ・リリース後の運用管理(SLO設計、障害対応、改善提案)も担当 ●装置センサーデータの収集・可視化を行う内製システムのITアーキテクト兼アジャイル開発リーダー [役割] ユーザ部門と調整し、システム要件や設計を決定。現場と同じ目線で最適解を導きます。 [業務内容] ・データパイプライン(収集→ストリーム処理→蓄積→可視化)の設計・開発・運用 ・リリース後のダッシュボード改善、アラート設計、性能チューニング ・チームを率いて短サイクルで価値リリース→効果測定→改善を回す [従事すべき業務の変更の範囲] (雇入れ直後)上記の通り (変更の範囲)その他会社が指示する業務 【言語】 Python、SQL、Java、JavaScript、VBA 【環境】 Linux 【技術】 Web:React、FastAPI ビッグデータ: Hadoop、HBase、Hive、Spark 時系列データ処理: Flink、Kafka、時系列データベース(DB) 生成AI:生成AI/RAG活用技術

ミッション "AI の出力品質を科学する — 評価手法の研究・開発で、エージェントの信頼性を証明する" LLM / AIエージェントの出力品質を、機械学習・統計学・計量心理学の手法で定量的に評価・改善します。本ポジションは「テストする人」ではなく、 「何をもって良いAIとするかを定義し、測定する科学者」 です。 期待する役割について AI Evaluation Scientist として、AI エージェントの品質評価基盤の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 — LLM-as-Judge の校正、報酬モデリング、ベンチマーク設計を通じて「何をもって品質とするか」を科学的に定義します ●自動評価パイプラインの設計・構築 — 研究成果を本番 CI/CD に組み込み、スケーラブルな品質ゲートを実現します ●レッドチーミング・安全性検証 — adversarial testing の自動化、ポリシー準拠検証フレームワークを構築します ●統計的実験計画に基づく品質改善 — A/B テスト・有意差検定でプロンプト戦略やモデル変更の効果を定量的に検証します ●評価シグナルの研究・開発チームへのフィードバック — モデル改善の複利ループを構築します 約 200 社が本番利用するプロダクトの品質を「科学する」アプローチで担保します 業務内容 AI Evaluation Scientistとして、 AIエージェントの評価基盤 (Evaluation Infrastructure) の設計・構築・運用をリードしていただきます。 ●評価メトリクスの研究開発 ・LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules) ・評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection) ・報酬モデリング / preference learning の評価への応用研究 ・評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection) ・評価セット (合成データ + 実ログ) の設計・構築・メンテナンス ●自動評価パイプラインの設計・構築 ・スケーラブルな自動評価パイプラインの設計・実装 ・CI/CD への評価パイプライン組込みと品質ゲートの構築 ・エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応) ・評価パイプラインの再現性・信頼性の担保 ●安全性・品質検証 ・自動レッドチーミング (automated adversarial testing) の研究・実装 ・安全性 / ポリシー準拠の検証フレームワーク構築 ・ハルシネーション検出・校正手法の研究・実装 ・プロンプト / ツール回帰テストの設計・実行 ●統計分析・実験設計 ・統計的実験計画 (A/B テスト、有意差検定) の設計・分析 ・品質トレンドの可視化・回帰検出の自動化 ・品質レポート作成と改善提案 ・評価シグナルの研究・開発チームへのフィードバック 業務シナリオ ※以下は想定される業務シナリオの例です ●シナリオ1: LLM-as-Judge の校正と妥当性検証 新しい評価メトリクスとして LLM-as-Judge を導入する際、judge モデルの校正 (calibration) を実施します。人間評価との一致率を統計的に検証し、rubric 設計を反復改善します。construct validity を確認した上で、自動評価パイプラインに組み込み、評価コストを 80% 削減しながら人間評価と同等の信頼性を実現します。 ●シナリオ2: 新モデル導入時の品質ゲート LLMプロバイダーが新モデルをリリースした際、既存のベンチマークスイートで回帰テストを実行し、factualityスコアが3%低下していることを検出します。原因を分析し、プロンプト調整で品質を維持したまま新モデルへの移行を完了します。 ●シナリオ3: 自動レッドチーミングによる安全性検証 金融機関向けにJAPAN AI AGENTを導入する際、自動レッドチーミングパイプラインを構築します。adversarial promptの自動生成・分類器による脆弱性検出を実装し、業界固有のリスクシナリオ(機密情報漏洩、不適切な金融アドバイス等)を網羅的にテストします。ポリシー準拠率99%以上を達成します。 ●従事すべき業務の変更の範囲 会社の定める業務 成果責任 (KR/メトリクス) ●評価カバレッジ率(テストケース網羅率) ●回帰検出率(リリース前の品質劣化検出率 ≥ 95%) ●評価パイプライン実行時間(CI/CD内で完了) ●LLM-as-Judge と人間評価の一致率 ●False Positive / Negative 率 ●安全性インシデント発生率(リリース後) チーム体制 約120名が開発組織に在籍しています。 AI Evaluation Scientistは品質保証の専門チームとして、以下のチームと密接に連携します: ●密接に連携する役割: ・Agentic Product Engineer — エージェント機能開発 ・Research Engineer — 研究開発・モデル改善 ・Agent Harness Engineer / Software Engineer (AI Platform) — AI 実行基盤開発 ・Product Manager — プロダクト設計・品質要件定義 開発環境 ●言語 : Python (評価パイプライン・分析), TypeScript / React / Next.js (フロントエンド部) / NX ●評価 / QA : pytest, LangSmith, Weights & Biases, custom eval frameworks ●データ : BigQuery, Spark, Pandas ●インフラ : GCP (コンテナ / K8s), Docker, Terraform ●CI/CD : GitHub Actions ●ツール : Slack, Confluence, Linear, Google Workspace, GitHub, Notion ●AI 開発支援 : Claude Code MAX Plan, Cursor, ChatGPT, Devin ●作業環境 : Mac (Apple Silicon), デュアルモニタ対応

お客さまのデータ利活用のため、データ分析基盤の構築、BI レポートの開発を行います。 データ分析基盤構築では、主に Microsoft Azure の製品を用いたデータの統合・蓄積・加工を担う一連のシステム群の要件定義から構築・開発、保守・運用を行います。 BI レポート開発では、Microsoft Power BI を用いた BI レポートの要件定義から開発、保守・運用を行います。 分析基盤構築や BI レポートの導入を検討中のお客さまに対する提案や BI レポートのモックアップ開発などを行います。 【具体的な業務内容】 ■データ分析基盤構築の提案・デリバリー・保守運用・教育 ・Azure RDB などを用いたデータ分析基盤の構築 ・Azure Synapse Analytics や Azure Databricks などを用いたビックデータ分析基盤の構築 ・Azure Data Factory などを利用した ETL 機能の開発 ・Azure Cognitive Services や Azure Machine Learning などを用いた AI 機能構築 ・AWS、オンプレミスでの Hadoop、Snowflake などを使ったデータパイプラインの実装 ■BI レポート開発の提案・デリバリー・保守運用・教育 ・データ分析基盤に蓄積されたデータを可視化するための BI レポートの開発 <プロジェクト事例> ・大手総合商社:BS / PL などデータを収集・蓄積するデータ分析基盤構築、Power BI レポートの開発 ・外資系衣料系ブランド:在庫/売上の把握などのデータ分析基盤の構築、Power BI レポートの開発 ・大手消費財メーカー:社員の働き方の見える化のため Power BI レポートの開発 ・大手出版社:各店舗 POS ・ Web 販売データを収集・蓄積するデータ分析基盤構築と Power BI レポートの開発

社内における、DataOps推進のためのデータ利活用するための基盤設計、データ戦略立案、データガバナンスのプランニングなどを行っていただきます。 DMBOKの思想などを理解したうえで現代のデータを元に事業が動くために必要な要件に取り組んでもらいます。 【業務詳細】 社内データ基盤のアーキテクチャ設計を主導 既存データインフラ環境の分析や、改善提案。 具体的なアプローチの提示 データガバナンスのポリシーの策定と推進 自社内のチームや他部署と連携し、データ基盤プロジェクトの推進

●業務概要 顧客企業と伴走しながら、生成AIや機械学習を組み込んだアプリケーションの設計〜開発〜運用までを担当します。 ●<主な業務例> ・生成AIを組み込んだAIエージェントアプリケーションの開発 ・生成AIアプリケーション/システムのLLMOps/AgentOps設計・開発 ・機械学習アプリケーション/システムのMLOps設計・開発 ・機械学習アプリケーション/システムの新規技術・サービス調査検証 ※詳細は面接時に説明します。 ●プロジェクト事例 AI自動発注システム 未来型無人化店舗「SECURE AI STORE LAB」開発　 ●技術スタック 言語:Python、SQL、Scala、Java DWH:Snowflake、BigQuery、Redshift データ基盤:Databricks、Spark、Presto、Hadoop BIツール:Tableau、Looker、PowerBI、Datorama、DOMOなど クラウド:AWS、GCP、Azure ETL/ELTツール: dbt、Fivetran、trocco、Airbyte、Talend、AWS Glue AIフレームワーク:VertexAI、SageMaker、AzureML IaCツール:Terraform、CloudFormation、Ansible

当社グループの事業 ・当社は「システム」「リサーチ」「コンサルティング」の3つの分野を柱に、社会に対して新たな価値を創出する総合シンクタンクです。 ・高い専門性と豊富な経験、さらに3つの機能の相互連携をもとにした付加価値の高い情報サービスを、国内外を問わず幅広い社会、業界、企業に提供しています。 採用部門 採用部門概要 社会保険、健康経営、医療等ヘルスケアに関する業務を行う事業者、および団体に対して 社会保険ソリューションを提供しております。所属社員数は約200名です。 採用部門のミッション 健康保険組合を中心とした社会保険事業者へのシステムサービスの提供、およびRMによる顧客との信頼関係の構築や課題解決のほかに、蓄積されたレセプト情報を活用したビジネス企画・展開の推進も行っております。 業務詳細 アプリケーション開発プロジェクトのチームリーダーやプロジェクトマネジャーとして以下のような業務をご担当いただきます。(配属組織内に分散系/汎用系両方のシステムが存在しています。入社後はこれまでの経験を活かしていただけるプロジェクトに配属を想定しています。) ・新機能追加やユーザーヒアリングの企画実行 ・システム要件定義、設計、プロジェクトマネジメント、保守 ・新システムやデータレイク、大規模DWHに関する企画実行 ・オフショアマネジメント　など 開発事例 ・健康保険組合、国民健康保険組合向けシステム(分散/メインフレーム)の開発(設計、開発、運用、保守) ・健康保険組合向けシステム 　-健康保険組合の職員向けポータルサイト 　-健康保険組合の職員向け申請サイト 　-健康保険組合の職員向け分析システム ・国民健康保険組合向けシステム ・被保険者向け医療費情報紹介サイト ・被保険者向けe-Tax用データ提供サイト ・分散システムのアーキテクチャ設計 ・ローコード開発ツールによるフロントシステム開発

【ミッション】 企業向けシステム開発において、CDP、クラウド、データ統合基盤などの最先端技術を駆使し、顧客のDX推進および業務改革を実現するためのSE支援を提供 【主な業務】 ・CDPやデータ統合基盤などの先端技術を活用した法人顧客向けシステムの提案から要件定義、実装までの各工程をリード ・プロジェクトマネジメントおよび顧客との直接交渉、調整業務 ・社内外のパートナーと連携し、システム構築および導入を促進 【具体的な業務】 ・提案・設計:顧客要件をもとにCDP、データ分析、クラウドを取り入れたシステムの提案、要件定義、設計書の作成 ・実装・開発:生成AIを含むウェブアプリケーションおよびデータ基盤の開発、ETL処理やデータ統合基盤環境のシステム実装 ・プロジェクトマネジメント:社内メンバーや協業パートナーの統括、進捗管理、品質・リスク管理、定例顧客折衝の実施 ・ドキュメント管理:提案書、設計書、計画書、テスト仕様書などの各種文書の作成および整備 ・技術調整:技術的な折衝およびトラブルシューティングによる問題解決の実施 ※全ての募集における雇い入れ後の、従事すべき業務・就業場所の変更の範囲については下記の通りとします。 ●業務の変更の範囲:会社内でのすべての業務

●業務概要 パーソルグループ企業もしくは提携企業にて顧客や社内の部門に対して、お客様が保有する様々なデータを活用可能な形に処理し、データ分析のための基盤構築をお任せします。 データサイエンティスト/アナリストが行う仕事の基盤をつくり、お客様が抱える課題を解決まで導く業務となります。 ●業務詳細 ・データ収集・連携 　└外部SaaS/業務システムなど異なるソースからのデータ取り込み 　└バッチ開発やストリーミング処理 ・データ基盤の設計・構築・運用 　└DWH・DB・テーブルの設計(SQL、スキーマ、パーティショニング) 　└クラウドインフラの構築(AWS/GCP/Azure)、セキュリティ・ネットワーク設定、コスト最適化 ・データ整備・品質管理 　└ETL/ELTパイプラインの実装(dbt、Apache Kafka、Apache Spark) 　└データモデリング(スタースキーマ・Snowflake)、メタデータ管理、データカタログ整備 ・データ品質監視 　└検査ルール、データガバナンスの設定 　└アラート対応、テスト設計 ・提供・可視化支援 　└分析用マートの提供、BIツールへの接続最適化・可視化(Looker、Tableau、Power BI) ・運用・信頼性 　└パイプラインの監視・障害対応・パフォーマンスチューニング 　└Gitによる変更管理 プロジェクト例 ●Databricksを用いたデータ基盤の設計構築 <業務内容> 　・Databricks上のデータ基盤の設計/構築/検証 　・SAPのテーブルをDatabricksに連携 　・S3のテーブルをDatabricksに連携 　・ストリーミングテーブルの実装、ジョブ作成 <技術> 　Databricks, PySpark, SparkSQL, PowerBI, Git ●dbtを用いたETL、データパイプライン構築 <業務内容> 　・データパイプライン構築、フロー図作成 　・Bigqueryからのデータ抽出、データマートの設計・開発 　・ワークフローの監視 　・バッチ処理開発・運用 　・Tableauダッシュボードの設計・構築・運用 <技術> 　GCP(Bigquery,GCS), dbt, Tableau, Git

当社では「アイデアを持つパートナー（起案者）」に対して、サービスデザインから技術選定、開発までを一気通貫で提供しています。 スタートアップの開発支援から大手企業の新規サービス立ち上げまで様々な規模のプロジェクトがあり、その中でもパブリッククラウド環境でのデータウェアハウス構築を担うデータエンジニアとして業務を担っていただきます。 【業務詳細】 ・パブリッククラウド（AWS、GCP、Azure など）上でのデータ基盤・データパイプラインの設計、構築、運用 ・データ収集、加工、ストレージに関わるシステムの開発 ・大規模データを対象としたETL (ELT) 処理の最適化 ・リアルタイムデータの処理 ・データクレンジング処理やデータマートの構築 ・データの可視化および分析基盤の構築支援 ・データパイプラインの品質管理、パフォーマンスの向上 ・データウェアハウスの運用保守 ・ステークホルダー（データアナリスト、データサイエンティストなど）との連携 ・顧客との要件定義や設計フェーズでのコミュニケーション