データエンジニア(TensorFlow)の求人・転職情報

【こんな方におすすめ】 ●データ活用で製品価値や開発プロセスを革新したい方 ●大規模データやクラウド基盤を活用して意思決定や改善を推進したい方 ●データ解析・AI技術を使って組織横断の課題解決に挑戦したい方 ●分析結果を現場に還元し、プロセスや製品に影響を与える仕事にやりがいを感じる方 ● 新しい技術や仕組みを自ら試し、チームやプロセスに展開できる方 ● データ活用によってソフトウェア開発の生産性を高めたい方 ● 技術とビジネスの両面から価値を生み出すことに興味のある方 【業務委細】 ●データ基盤の設計・構築 ●車両開発・ソフトウェア開発の各種データを統合・可視化するデータパイプライン構築 ●クラウド上でのデータ収集・加工・分析環境整備(ETL/ELT設計) ●データ分析・機械学習の活用 ●ソフトウェア開発効率や製品品質向上に向けた分析・予測モデルの構築 ●生成AIや機械学習モデルの運用 ●開発プロセスの改善支援 ●データに基づいた開発プロセス改善提案 ●ダッシュボード作成やデータ可視化による現場へのフィードバック ●組織横断でのデータ活用推進 ●SDV開発に関わる複数部門と連携し、データ活用の標準化・最適化 ※専門性や適性、会社ニーズなどを踏まえ、会社が定める業務への配置転換を命じる場合があります。 【開発環境・ツール】 ● プログラミング言語・スクリプト:Python, SQL, Shell Script, JavaScript, C++(一部領域) ● データ基盤・分析環境:AWS(S3, Redshift, Glue, Lambda等)、GCP(BigQuery, Dataflow, Vertex AI等)、Azure(Synapse, Databricks等) ● 開発・運用ツール:Docker, Kubernetes, Jenkins, GitHub / GitLab, JIRA, Confluence ● データ分析・可視化ツール:Tableau, Power BI, Superset, JupyterLab, Pandas, Scikit-learn ● 機械学習/AI関連:TensorFlow, PyTorch, MLflow, Generative AIツール(LLM活用基盤等) ● 車載開発・統合設計ツール(連携領域):AUTOSAR Adaptive/Classic, PREEvision, Enterprise Architect, Doors, Jazz Platform

【業務委細】 ●データ基盤の設計・構築 ●車両開発・ソフトウェア開発の各種データを統合・可視化するデータパイプライン構築 ●クラウド上でのデータ収集・加工・分析環境整備(ETL/ELT設計) ●データ分析・機械学習の活用 ●ソフトウェア開発効率や製品品質向上に向けた分析・予測モデルの構築 ●生成AIや機械学習モデルの運用 ●開発プロセスの改善支援 ●データに基づいた開発プロセス改善提案 ●ダッシュボード作成やデータ可視化による現場へのフィードバック ●組織横断でのデータ活用推進 ●SDV開発に関わる複数部門と連携し、データ活用の標準化・最適化 ※専門性や適性、会社ニーズなどを踏まえ、会社が定める業務への配置転換を命じる場合があります。 【開発環境・ツール】 ● プログラミング言語・スクリプト:Python, SQL, Shell Script, JavaScript, C++(一部領域) ● データ基盤・分析環境:AWS(S3, Redshift, Glue, Lambda等)、GCP(BigQuery, Dataflow, Vertex AI等)、Azure(Synapse, Databricks等) ● 開発・運用ツール:Docker, Kubernetes, Jenkins, GitHub / GitLab, JIRA, Confluence ● データ分析・可視化ツール:Tableau, Power BI, Superset, JupyterLab, Pandas, Scikit-learn ● 機械学習/AI関連:TensorFlow, PyTorch, MLflow, Generative AIツール(LLM活用基盤等) ● 車載開発・統合設計ツール(連携領域):AUTOSAR Adaptive/Classic, PREEvision, Enterprise Architect, Doors, Jazz Platform

【業務委細】 ●データ基盤の設計・構築 ●車両開発・ソフトウェア開発の各種データを統合・可視化するデータパイプライン構築 ●クラウド上でのデータ収集・加工・分析環境整備(ETL/ELT設計) ●データ分析・機械学習の活用 ●ソフトウェア開発効率や製品品質向上に向けた分析・予測モデルの構築 ●生成AIや機械学習モデルの運用 ●開発プロセスの改善支援 ●データに基づいた開発プロセス改善提案 ●ダッシュボード作成やデータ可視化による現場へのフィードバック ●組織横断でのデータ活用推進 ●SDV開発に関わる複数部門と連携し、データ活用の標準化・最適化 ※専門性や適性、会社ニーズなどを踏まえ、会社が定める業務への配置転換を命じる場合があります。 【開発環境・ツール】 ● プログラミング言語・スクリプト:Python, SQL, Shell Script, JavaScript, C++(一部領域) ● データ基盤・分析環境:AWS(S3, Redshift, Glue, Lambda等)、GCP(BigQuery, Dataflow, Vertex AI等)、Azure(Synapse, Databricks等) ● 開発・運用ツール:Docker, Kubernetes, Jenkins, GitHub / GitLab, JIRA, Confluence ● データ分析・可視化ツール:Tableau, Power BI, Superset, JupyterLab, Pandas, Scikit-learn ● 機械学習/AI関連:TensorFlow, PyTorch, MLflow, Generative AIツール(LLM活用基盤等) ● 車載開発・統合設計ツール(連携領域):AUTOSAR Adaptive/Classic, PREEvision, Enterprise Architect, Doors, Jazz Platform 【こんな方におすすめ】 ●データ活用で製品価値や開発プロセスを革新したい方 ●大規模データやクラウド基盤を活用して意思決定や改善を推進したい方 ●データ解析・AI技術を使って組織横断の課題解決に挑戦したい方 ●分析結果を現場に還元し、プロセスや製品に影響を与える仕事にやりがいを感じる方 ● 新しい技術や仕組みを自ら試し、チームやプロセスに展開できる方 ● データ活用によってソフトウェア開発の生産性を高めたい方 ● 技術とビジネスの両面から価値を生み出すことに興味のある方

●データ基盤の設計・構築 ●車両開発・ソフトウェア開発の各種データを統合・可視化するデータパイプライン構築 ●クラウド上でのデータ収集・加工・分析環境整備(ETL/ELT設計) ●データ分析・機械学習の活用 ●ソフトウェア開発効率や製品品質向上に向けた分析・予測モデルの構築 ●生成AIや機械学習モデルの運用 ●開発プロセスの改善支援 ●データに基づいた開発プロセス改善提案 ●ダッシュボード作成やデータ可視化による現場へのフィードバック ●組織横断でのデータ活用推進 ●SDV開発に関わる複数部門と連携し、データ活用の標準化・最適化 ※専門性や適性、会社ニーズなどを踏まえ、会社が定める業務への配置転換を命じる場合があります。 【開発環境・ツール】 ● プログラミング言語・スクリプト:Python, SQL, Shell Script, JavaScript, C++(一部領域) ● データ基盤・分析環境:AWS(S3, Redshift, Glue, Lambda等)、GCP(BigQuery, Dataflow, Vertex AI等)、Azure(Synapse, Databricks等) ● 開発・運用ツール:Docker, Kubernetes, Jenkins, GitHub / GitLab, JIRA, Confluence ● データ分析・可視化ツール:Tableau, Power BI, Superset, JupyterLab, Pandas, Scikit-learn ● 機械学習/AI関連:TensorFlow, PyTorch, MLflow, Generative AIツール(LLM活用基盤等) ● 車載開発・統合設計ツール(連携領域):AUTOSAR Adaptive/Classic, PREEvision, Enterprise Architect, Doors, Jazz Platform

DX Solution PL/PMとして、基本プライム案件を中心に、金融・保険・製造業・流通業等、BtoB領域における多種多様な業種・業態のお客様に対して、担当案件におけるプロジェクト推進を担当して頂きます。 　 ・プロジェクト管理(3～30名)全般　※PL管理スパン目安:10未満/PM管理スパン目安:8名以上 ・プロジェクト計画書作成 ・プロジェクト採算管理、要員管理、外部調達管理、進捗管理、品質管理、リスク管理 ・要件定義から設計、製造、テストの開発一連作業 ・プロジェクトメンバー育成 注力領域・取扱プラットフォーム・プロダクト例 Azure OpenAI/Google Gemini/IBM watsonx/SalesForce Einstein/PyTorch//TensorFlow/Chainer/Azure Cognitive Toolkit/Google OR-Tools Salesforce Salse Cloud/Service Cloud/Experience Cloud/Industry Cloud(保険・金融・ヘルスケア)/Data Cloud/Agentforce/MuleSoft Hyper Automation/Intelligent Automation/Power Automate/Ui Path/Asteria/informatica/Outsystems ServiceNow(ITSM/ITOM/CRM/SECOps/HR)/ServiceNow AI Agent 配属セクターについて 最終的な配属セクターは、面接の結果によって判断します。 しかしながら、ステップアップキャリア想定であることから、入社後の1on1面談等におけるキャリアカウンセリングにより、その都度、セクター異動が可能な仕組みになっています。

【配属組織名】 研究開発グループ デジタルサービス研究統括本部　サービスシステムイノベーションセンタ　DXエンジニアリング研究部 【配属組織について(概要・ミッション等)】 ミッション:社会イノベーション事業をシステム技術でリードし、社会・環境・経済価値を提供する 【携わる事業・ビジネス・サービス・製品など】 産業、流通、自動車、鉄道、医用機器、エレベーター、ストレージ、AI活用デジタルソリューション、金融システム、官庁・自治体システムなど、日立グループのソリューション・サービスを支える様々なシステムを対象に、その高機能化、高品質化などの研究開発に携わることができます。 https://hitachi-dx-engineering-research.github.io/ 【職務概要】 ソフトウェア工学の知見に基づき、日立グループの事業分野における革新を主導するための、研究開発全般を担い、製品・サービスにおけるイノベーションと破壊的技術の創生のために、業務の取り纏め者として、社内の関係者との関係を構築し、社内外の学習機会を活用するとともに、自身の経験や先行研究から積極的に学習していただき、自身の研究の完遂を通じて、最善の方法を生み出す仕事です。 産業、流通、自動車、鉄道、医用機器、エレベーター、ストレージ、AI活用デジタルソリューション、金融システム、官庁・自治体システムなどに求められる、先端ソフトウェア・システムを強化する研究開発を担当頂きます。 技術開発戦略の策定、プロトタイピングを通じた技術開発活動、知財創生活動、学会活動を通じた社会への成果の還元など、幅広い活動の一部または全部に関わることができます。 【職務詳細】 ・「デジタルトランスフォーメーション」を実現するための最新のITシステム開発手法の研究開発 ・信頼性の高い高品質なAIや、AIを使ったシステムを開発するための技術の研究開発 ・ビッグデータやAIを駆使した最先端のソフトウェア開発技術の研究開発 ・セーフティ・クリティカルなシステムを開発するための効率的なプロセスと方法の研究開発 (研究テーマ例)協創型アジャイル開発手法、DevOps、クラウドシフト、開発プロジェクトリスク検知、プログラム自動修正、テスト自動生成/自動実行、AIソフトウェアのテスト・検証、プロセスマイニング、組込みシステム性能検証、開発KPI間の因果関係分析、モデルベース開発(Model Based Systems Engineering)、高安全システム開発(安全リスク分析、機能安全)、組込みソフトウェア実装技術、Over The Air技術、自動運転ソフトウェア、VRによるソフト構造可視化、量子ソフトウェア開発環境 【働く環境】 ・配属組織/チーム:10～15人程度の研究ユニットの中で、2～3人程度のチームを構成して各テーマについて研究開発を行います。 ・働き方:コロナ下では在宅勤務をベースに、必要に応じて出社、出張などを行います。 ※上記内容は、募集開始時点の内容であり、入社後必要に応じて変更となる場合がございます。予めご了承ください。

データドリブン経営の推進がミッションです。 エンドユーザーが利用するためのデータ整備、データ・AI利活用のための環境整備と、環境を使っていくユーザーに対してのスキルアップの機会を提供します。 下記①、②が主な業務となります。 <①ビジネスサプライ事業のデータ分析基盤構築・運用・利活用促進> 1.データパイプラインの開発・運用 様々なデータソースからデータを収集し、データ分析基盤に連携し、ビジネスユーザーに提供するまでのETL/ELTパイプラインの構築 2.データ分析基盤内のデータ管理 データウェアハウスの設計・構築・運用、データの正確性・一貫性を保つためのデータ品質管理 3.データ分析AIエージェントの提供 データ分析基盤において、セマンティックレイヤーを整備し、それを活用するためのAIエージェントを開発し、エンドユーザーに提供 4.データ分析基盤の設計・構築・運用 ビジネスユーザーと協力しながらデータ活用による課題解決や価値創造につながるユースケースの実現とそれを可能にするデータ環境の整備 5.データ分析環境の提供 ビジネスユーザーやデータアナリスト・データサイエンティストが効率的にデータを分析するためのBIツールやAI環境の整備 <②コクヨグループとパートナー企業へのデジタルスキル向上支援> 6.KOKUYO DIGITAL ACADEMYでの技術支援 AI・IT・データに関する知識の獲得とスキル向上を目的としたプログラム(講座と実践)のテクニカルサポート 【部門について】 <データドリブン推進ユニット> データドリブン推進ユニットは2023年5月に発足し、コクヨ内でデータとテクノロジー利活用において最先端を走るチームです。 私たちは、開発とユーザーサポート活動のスピードと質を継続的に高めるために、アジャイル(スクラム)手法を導入しています。 2週間を1スプリントとし、スプリントプランニング(計画)、スプリントレビュー(成果確認)、レトロスペクティブ(振り返り)のサイクルを回しながら、日々の業務に取り組んでいます。 <組織構成> ①データテクノロジーグループ:ユニット長兼グループリーダー1名、メンバー2名(データエンジニア、データサイエンティスト) ②データアナリティクスグループ:グループリーダー1名、メンバー3名 他、コクヨの人材プログラムである「20%チャレンジ(全工数の20%を社内複業として別ミッションに充てる)」で参画しているメンバーが4名所属 【ビジネスサプライ事業について】 配属先となるビジネスサプライ事業は、文具や家具にとどまらずオフィスで使うものをトータルでお届けする流通事業を担っています。ニーズに合わせてサービスを多角化させながら、オフィス用品購入の効率化と販売店側の受発注業務の効率化をサポートしています。EC購買のニーズが高まっている法人向け通販市場をベースに継続的な事業拡大を目指しています。

【事業説明]】 当社グループは、西日本を中心に鉄道事業や不動産、流通などの事業を運営している企業グループです。地域に根差した事業を手掛ける中で、時代の変化に対応し、新たな価値を創造するべく、グループ一体となって《顧客体験・鉄道システム・従業員の働き方の再構築》に取り組んでいます。 その中でも弊社は、JR西日本グループの各事業と一体でデジタル施策の実行支援を行い、データ利活用による事業横断の価値創出を実現するために設立されました。 【募集概要】 株式会社TRAILBLAZERにおいて、JR西日本グループ全体のデータマネジメント健全化を技術面から下支えする、プレイング主体のデータエンジニアを募集します。 本ポジションは、マネジメントに特化するのではなく、高い専門性を活かして自ら手を動かし、データ分析基盤の構築やデータの整備をリードする役割です。社内のインフラエンジニアやデータサイエンティストと連携するだけでなく、JR西日本側のデータマネジメント組織とも直接コミュニケーションを取りながら、理想的なデータ環境を実装していただきます。 【具体的な業務内容】 データエンジニアリングおよびアナリティクスエンジニアリングのスペシャリストとして、以下の業務をプレイングの軸として遂行いただきます。 ●自社R&D環境・データ分析基盤の構築と運用: ・モダンデータスタックを活用したELT基盤の設計・実装 ・ロール設計、権限設計、セキュリティ設定などのデータガバナンス整備 ●データ整備とパイプライン実装: ・実データの探索やデータオーナーへのヒアリングを通じた、データ仕様の解明・整理 ・上流の仕様変更に耐え得るデータ構造への再設計、およびdbt等を用いたELTパイプラインへの実装と運用・監視 ●JR西日本側データ基盤の整理と上流調整: ・JR西日本側のDMO組織と連携した、データデリバリーに関する課題への対処 ・上流システムの改修情報からデータリネージを辿り、影響範囲を自ら特定・文書化 ・分析側とシステム側双方の言語を理解した、データオーナー組織との仕様確認や調整の主導 ●分析プロセスの標準化実行 ・DevOps、DataOpsの観点からデータ分析組織における技術標準・推進フローの設計とチームへの浸透 【技術スタック】 言語・フレームワーク ・Python(pandas / polars を用いたデータ加工・分析) ・PySpark(分散データ処理の運用) ・FastAPI / Flask(API開発・運用) ・pytest(テスト設計・運用) データベース / SQL ・複雑なクエリ設計(window関数を用いた時系列データ処理・順位付け) ・WITH句(CTE)を活用した可読性の高いクエリ設計 ・explainを用いたクエリチューニング ・JSON等のネストデータ処理 クラウド ・Azure(Blob Storage / ファイル共有 / VM運用・コスト管理 / ネットワーク) ・GCP(BigQuery / Gemini API) ・AWS(S3 / ECR / EKS / Bedrock / CloudShell) データ基盤 / ワークフロー ・Databricks(コード管理 / ダッシュボード / ワークフロー運用 / Apps) ・Airflow / dbt / Dagster / Airbyte(データパイプライン構築・運用) インフラ / DevOps ・Docker / Terraform(IaCによる環境構築) ・GitHub(バージョン管理 / GitHub Actions / Copilot活用) 開発環境 ・VS Code / Claude Code / GitHub Copilot

【お任せしたいお仕事】 データエンジニアとして、SnowflakeやDatabricksを中心としたデータ活用基盤の構築・運用を通じて、お客様のDX推進を支援いただきます。 担当工程は、企画、要件定義～リリース・保守までと幅広く関わっていただくことができます。 データ基盤構築だけでなく分析や可視化・AI活用領域まで幅広く経験を積むことが可能なため、データエンジニアとしての市場価値を高めていくことができる環境です。 《具体的な業務内容》 ・SnowflakeまたはDatabricksを活用したデータ基盤の設計・構築 ・DWH/Data Lake/Lakehouseの設計・構築・運用 ・ETL/ELT処理およびデータパイプラインの開発 ・SQLを用いたデータ加工・最適化 ・クラウドとのデータ連携基盤構築 ・BIダッシュボード向けデータモデリング ・データ品質管理およびパフォーマンスの最適化 ・顧客折衝、課題整理、データ活用に関する提案 ※従事すべき業務の変更の範囲:IT開発関連業務

CTO直下のAI Labチームに所属し、各事業及び経営基盤の業務における基盤モデルやデータ整備を中心とした生成AI評価・活用のイネーブリングを牽引します。 仕事の進め方 プロジェクト化以前の段階で、CARTAの事業・組織を横断し、生成AIでのレバレッジポイントを見出し、アプローチを施します。 ▼基盤整備 ・全社の土台を整え、各事業で自走して生成AIのビジネス成果を開発できるよう、再利用できるデータ基盤、評価システム、ツール、ライブラリ、ガードレール、データフロー類を整備し、横断的に提供する ・新モデル、事後学習、データマネジメント技術の探索と研究を通じて、この先使うべき手段を見定める ・社内外に知見を発信し、CARTAとしての開発生産性とプレゼンスを高める ・AI Lab自身の業務エージェント適応度を向上し、モデルケースとして展開する ▼事業適用 CARTAの生成AI推進ステアリングコミッティと連携し、全社として取り組むべき課題を探索し、真に取り組むべきものを自ら選定します。 以下のようなプロセスで取り組みを進めます。 ●ヒアリング・要求分析 ・優先度の高まった事業のチームへのヒアリングや観察を通じて問題の解像度を高め、真に事業価値として必要なものを見出す ●何をどのように進めるのかを決める ・どのような評価手法・学習戦略で課題を解くのが効果的かつ効率的なのかを考え、事業メンバーと共に決定する ●検証する ・高速なフィードバックサイクルを回し、"やらない"手段も含めて評価・学習戦略を検証する ●継続して改善する ・モデル評価技術・LLM-as-a-judge・ファインチューニング・RAG等の最新手法について継続して投資し、良いプラクティスを探索する。精度モニタリング、評価指標の見直し、ガイドラインの更新など、システムを継続して活用する上でのデータサイエンス観点の改善に取り組む ●成果を横展開する ・成功事例も学びも含めて、得られた知見をもとに伝播・展開・研鑽することまで全て業務範囲です 開発環境・利用しているツール ●LLM基盤・ツール ・OpenAI, Anthropic Claude, Google Gemini (Vertex AI) など ・LangChain, Langfuse ●プログラミング言語・フレームワーク ・Python (pandas, scikit-learn など) ・必要に応じて PyTorch, TensorFlow (主に評価・事後学習の検証用) ●インフラ・MLOps ・AWS, GCP ・Terraform, CDK などを用いた環境構築・運用 ●コミュニケーション ・GitHub, Slack, Google Meet ●業務内容備考 変更の範囲:会社の定める業務(出向先会社での業務を含む)

●部門紹介 当社のデータ利活用部は、データ分析領域における“入門部門”として位置づけられています。 データ分析の経験が浅い方や異業種からキャリアチェンジを目指す方も積極的に受け入れており、データの活用に関する基礎から実務まで幅広く経験することができます。 また、社内にはAI、BI、基盤運用、コンサルティングなど技術特化型の部門があり、データ利活用部でスキルを積んだ後は、ご自身の志向や強みに応じて各部門へのキャリアチェンジも可能です。 「データ分析を学びながら自分に合った領域を見極めたい」という方にとって、最適な環境です。 ●仕事内容 データアナリストとして、顧客企業のビジネス課題解決に向けたデータ分析・可視化、およびそれに伴う施策の提案・伴走(おもてなし分析)を担当します。 【具体的な業務内容】 ・顧客の「なんとなく困っている」という抽象的なビジネス課題のヒアリング・論理的な整理 ・SQLを用いたデータベースからのデータ抽出(SELECT、JOIN、GROUP BY等)および集計 ・Pythonを用いたデータ加工、レポート作成の自動化スクリプト・バッチの作成 ・TableauなどのBIツールやExcelを用いた数値の可視化(ダッシュボード構築) ・抽出・可視化したデータに基づく、顧客(または社内)への報告・経営課題に対する改善提案 ・ChatGPTなどの生成AIツール、プロンプトエンジニアリングを駆使した分析業務の効率化・新しい分析プロセスの構築 変更の範囲:会社が指定した業務 【開発環境/使用ツール】 AWS/GCP/Azure/Tableau/SAS/SPSS/Oracle Database/SQL ServerMySQL/PostgreSQL/Google AnalyticsSQL/Python/Rなど ●案件事例 ①ソーシャルゲームアプリの売上増加に向けたデータ分析支援 アプリのログデータを解析し、アプリ運営の改善、売り上げUPに繋げる 使用ツール:SQL, Google BigQueryなど ②機械学習を用いたモデルの作成 クライアントが保持しているデータからモデルを作成し分類化や数値予測を行う 使用ツール:Python ③ファクトリーブランド立ち上げに向けたマーケティングリサーチ 地域独自のブランドを立ち上げることで、減少した売り上げの回復と安定化 使用データ:業者からのヒアリングデータ、生活者へのインタビューデータ (※取引実績100社以上) ●入社後の流れ 最初からすべての工程を一人でお任せすることはありません。 まずはご自身の得意なスキル(SQLでのデータ抽出や、Pythonでのデータ加工など)からスタート。 先輩アナリストのプロジェクトにアサインされ、顧客ヒアリングや提案の現場に同行しながら、徐々に上流工程のスキルを身につけていただきます。 Step1 データ分析環境の理解 まずはデータ分析領域の業務を行うにあたって、データの理解から始めます。 ◇ 使用環境・言語・ツール:SQLServer / MySQL / PostgreSQL / Oracle Databaseなど Step2 コーディング データ分析を行う上で、必要不可欠な数値を算出します。 ◇ 使用環境・言語・ツール:SQL / Python / SAS / Rなど Step3 データの可視化・分析 データについて正しく理解し扱えるようになったら、いよいよ分析フェーズに移行します。 ◇ 使用環境・言語・ツール:Google Analytics / Tableau / PowerBI / その他分析ツールなど Step4 レポーティング・報告提案 データ分析結果を基に、レポーティングと考察を行います。 意思決定に必要なデータを揃え、顧客が必要とするデータをわかりやすくまとめます。 ◇ 使用環境・言語・ツール:ダッシュボード(BIツール内) / PPT / Word

●業務概要 パーソルグループ企業もしくは提携企業にて顧客や社内の部門に対して、お客様が保有する様々なデータを活用可能な形に処理し、データ分析のための基盤構築をお任せします。 データサイエンティスト/アナリストが行う仕事の基盤をつくり、お客様が抱える課題を解決まで導く業務となります。 ●業務詳細 ・データ収集・連携 　└外部SaaS/業務システムなど異なるソースからのデータ取り込み 　└バッチ開発やストリーミング処理 ・データ基盤の設計・構築・運用 　└DWH・DB・テーブルの設計(SQL、スキーマ、パーティショニング) 　└クラウドインフラの構築(AWS/GCP/Azure)、セキュリティ・ネットワーク設定、コスト最適化 ・データ整備・品質管理 　└ETL/ELTパイプラインの実装(dbt、Apache Kafka、Apache Spark) 　└データモデリング(スタースキーマ・Snowflake)、メタデータ管理、データカタログ整備 ・データ品質監視 　└検査ルール、データガバナンスの設定 　└アラート対応、テスト設計 ・提供・可視化支援 　└分析用マートの提供、BIツールへの接続最適化・可視化(Looker、Tableau、Power BI) ・運用・信頼性 　└パイプラインの監視・障害対応・パフォーマンスチューニング 　└Gitによる変更管理 プロジェクト例 ●Databricksを用いたデータ基盤の設計構築 <業務内容> 　・Databricks上のデータ基盤の設計/構築/検証 　・SAPのテーブルをDatabricksに連携 　・S3のテーブルをDatabricksに連携 　・ストリーミングテーブルの実装、ジョブ作成 <技術> 　Databricks, PySpark, SparkSQL, PowerBI, Git ●dbtを用いたETL、データパイプライン構築 <業務内容> 　・データパイプライン構築、フロー図作成 　・Bigqueryからのデータ抽出、データマートの設計・開発 　・ワークフローの監視 　・バッチ処理開発・運用 　・Tableauダッシュボードの設計・構築・運用 <技術> 　GCP(Bigquery,GCS), dbt, Tableau, Git