インフラエンジニア(Spark)の求人・転職情報

【職務概要】 研究開発全般を担い、サービスコンピューティングに関わる先端技術(クラウド、OSS、IT開発・運用管理)を用いた、製品・サービスにおけるイノベーションと破壊的技術の創生のために、業務の取り纏め者として、社内の関係者との関係を構築し、社内外の学習機会を活用するとともに、自身の経験や先行研究から積極的に学習する。 自身の研究の完遂を通じて、最善の方法を生み出す。 これらの研究開発を通じて社会インフラのDX・GXを加速するサービスPF・ソリューションに貢献する。 【職務詳細】 ・サービスコンピューティングに関わる技術、業界動向、市場動向の調査 ・研究戦略・ロードマップの作成および研究提案 ・顧客課題を解決するための最良のアプローチや技術を選択・開発することにより、顧客ニーズに合った製品とサービスを定義、また、当該製品やサービスの価値を検証するためのプロトタイプ及びデモの開発 ・技術的専門性の観点から事業部門への情報提供ならびに提言 ・研究進捗管理、成果管理、論文執筆、社内研究報告の執筆、知財創生 働く環境 ①2～5名規模の単位でチームを作り、個々人がその技術の専門家として自主性を重視して開発内容を分担するとともに、他部門の研究者や事業部門のリーダおよびチームと連携して業務を進めます。 ②在宅勤務を主として、ブレインストーミングなどのディスカッションなど、必要に応じて出社して推進いただきます。(週1回程度、個人差あり。) ※上記内容は、募集開始時点の内容であり、入社後必要に応じて変更となる場合がございます。予めご了承ください。 キャリアパス 研究や技術に突出した高位専門職と、研究チームを牽引するマネージャ(プレイングマネージャ含む) 配属組織名 Digital Innovation R&D　デジタルインフライノベーションセンタ　サービスコンピューティング研究部 配属組織について サービスコンピューティングは、さまざまなITサービスを用いて、ビジネスとしてのサービスを実現するための技術や方法論を検討する研究分野です。 これを支えるアーキテクチャ、プラットフォーム技術、開発・運用技術、OSSを研究開発しています。 これらの研究開発を通じて、デジタルトランスフォーメーションを加速させ、社会イノベーションの実現に貢献します。 【携わる事業・ビジネス・サービス・製品など】 ●研究概要 https://www.hitachi.co.jp/rd/careers/lab/digtec/02.html ●研究紹介動画 https://www.youtube.com/watch?v=52w95xmNT_Y Trust Data Sharing and Utilization Infrastructure for Sensitive Data Using Hyperledger Projects https://ossalsjp21.sched.com/event/rCg7 機械学習を用いたIT機器の性能異常検知におけるAmazon SageMakerの活用事例 https://pages.awscloud.com/JAPAN-event-OE-20211125-AIML-reg-event.html A Fault Diagnosis Method for Fuel Injectors Using Machine Sound Tien-Trien Le, Takahiro Sagara, Shogo Kunioka, Satoshi Inose, 2020 International Conference on Sensing, Diagnostics, Prognostics, and Control (SDPC) https://ieeexplore.ieee.org/abstract/document/9353183 OpsSC: Decentralized Blockchain Network Operation Workflow for Hyperledger Fabric https://ieeexplore.ieee.org/document/9680558 ●関連事業 稼働音・測定データから建設機械の状態を診断するスマホ診断アプリ「ConSite® Health Check」を提供開始 https://www.hitachicm.com/global/jp/news-list_jp/20-03-23j/ 日立と〈みずほ〉が、ブロックチェーン技術を活用した金流・商流・物流の一体管理とサプライチェーンファイナンスの高度化に関わる実証実験を開始 https://www.hitachi.co.jp/New/cnews/month/2020/12/1228.html 「IT運用最適化サービス」において、AI活用によりシステム稼働レポート作成業務のさらなる自動化を実現 https://www.hitachi.co.jp/Prod/comp/soft1/jp1/notice/2020/1002.html マルチクラウド環境で、人のスキルに依存しないシステム監視と一元的な業務運用管理を容易にする「JP1」の最新版を販売開始 高信頼な運用基盤をSaaS型で利用可能な「JP1 Cloud Service」も新たに提供 https://www.hitachi.co.jp/New/cnews/month/2021/01/0121.html

新規機能開発、インフラ保守・運用管理、CSサポートなど1サービスのバックエンドに関連するすべての事柄を受け持っています。 基本的にはGoアプリケーション開発を行いながら、機能実装する上で必要な様々な分野の技術・インフラを用いた作業を行います。 バックエンドアーキテクチャは当初から変わっておらず、マイクロサービス、クリーンアーキテクチャ、DDD、モノレポを採用しています。 少数精鋭チームで開発を行なっており、API開発はもとより、インフラ構築含めた外部連携、CSサポート、運用まで、バックエンドに関係する工程は全てチーム内で一気通貫で管理しています。 ●チームの文化や体制 現在開発チームは60名程の組織です。そのうちエンジニアは30名程になります。各メンバーが事業グロースを推し進めるという高い意識を持ち、それぞれの意見を持ち寄りながら、時には自分の職域を超えて開発へ取り組んでいます。 また組織の文化として、本人の志向性を尊重した上で年齢に関わらずリーダーポジションへの抜擢が行われるケースがあります。各メンバーのキャリア形成を支援するために定期的な面談も実施しています。 ●環境 ・原則週3日出社、週2日リモートワーク(相談可) ・コミュニケーションツールは Slack や Zoom などを利用 ・定期的な1on1 ・交流ランチ 【チーム体制】 ・サーバーサイドエンジニア: 10名+α 【開発環境関連】 ・GCP, Kubernetes, Cloud Spanner ・AWS(映像関連) ・GitHub, Go, gRPC, envoy, Terraform, Docker ・モノレポ, クリーンアーキテクチャ, マイクロサービス 【チームの雰囲気】 ・少人数(10名程度)ながらも幅広い分野を受け持ち様々なことに挑戦しています。 ・年齢層は若手から中堅まで幅広いです。 ・フリーアドレス制度を採用しているため、出社時は他職種との連携も盛んに行われています。 ・リモート作業時は夕方頃にオフィスアワー時間をとり疑問や相談事の解消に利用しています。 ・チーム活性化を目的とした月イチ懇親会、合宿の実施や、スキルのボトムアップを目的としたドメイン知識の勉強会、実装コードのディスカッション、モブプロを実施しています。 会社概要 2019年4月にリリースした「WINTICKET」は、株式会社サイバーエージェントの子会社で、競輪・オートレースのインターネット投票サービスを提供しています。 株式会社WinTicketでは「競輪を若者の新たなエンタメへ」を中期にかけてのビジョンとして掲げ、業界イメージのリブランディングと新たなユーザー体験の提供を目指しています。 現在は、競輪業界No.1として業界を牽引する立場となりました。WINTICKETのFlutterアプリが技術力でコミュニティを牽引できるよう、Flutter関連のカンファレンスへの積極的な登壇や、日々新しい技術的な取り組みに挑戦しています。 これからも高いプロダクト品質と、それを支える技術で業界全体に革命を起こすべく、サービスグロースを一緒に推進してくれる仲間を募集しています!

NTTグループは、トヨタ自動車様とのモビリティ領域において、広く連携しています。AIや自動運転といった先進領域における取り組みから、商用システム開発まで、幅広く推進しています。 その中で、NTTデータはコネクティッドカーから得られる膨大なデータを活用するためのプラットフォーム開発や、関連する各種システム開発プロジェクトを数多く推進しています。 本ポジションでは、こうしたプロジェクトにおいて、システム全体の企画・設計・開発・推進を担うシステムエンジニアとしてご活躍いただきます。 先進技術のPoC推進から、アプリケーション開発、アーキテクチャ設計、プロジェクト推進など、これまでのご経験や強みに応じて、幅広い役割を担っていただくことを想定しています。 先進技術を活用しながら、単なるシステム開発にとどまらず、新しいモビリティ社会を支える仕組みづくりに上流から関われることが、この仕事の大きな特徴です。 ※意向・適性を互い擦り合わせ可能です。

ミッション 「ロボットとクラウドを繋ぐ堅牢な基盤を構築し、大規模ロボット基盤モデル開発を加速させる」 まずは、ロボット実機、オンプレミス環境、クラウド基盤、大規模データパイプラインを安定的につなぐインフラ/基盤の中核を担っていただきます。 その上で、研究者やプロダクト開発チームと協働しながら、データを使える形にするアプリケーションやUIへと役割を広げていくことを期待しています。 業務内容 ●主に担っていただく領域(インフラ軸) ・ハイブリッドクラウド/オンプレミス環境の設計・構築・運用 └ロボット実機、オンプレミス環境(ストレージ・GPUサーバー)、クラウド(AWS等)を跨ぐインフラ/データ基盤のアーキテクチャ設計ネットワーク、セキュリティ、データ転送の最適化 ・技術選定・技術検証・プロトタイプ開発・MVP構築 └仕様が固まっていない段階から、動くものを素早く作り検証する ●将来的に期待する役割(フルスタック方向) ・ロボット操作・管理に関わるWebアプリケーション開発 └ロボット管理・遠隔操作・データ可視化等の画面 └フロントエンド(React / TypeScript) └バックエンド(Go / Python) ・大規模データ基盤の設計・運用(★他メンバーと協働) └ロボット由来の非構造化データを扱うデータパイプライン設計 └ワークフローエンジン(Airflow , Dagster)を用いたワークフロー定義 └学習・分析用途に耐えうるデータレイアウト・クエリ基盤の構築 └データ処理基盤の信頼性担保、監視系の構築 ※アプリケーション領域については、入社時点での深い経験は必須ではありません。 インフラを主軸としつつ、関心や強みに応じて段階的に広げていくことを想定しています。 ●変更の範囲 会社の定める業務へ配置転換の可能性あり

●業務概要 パーソルグループ企業もしくは提携企業にて顧客や社内の部門に対して、お客様が保有する様々なデータを活用可能な形に処理し、データ分析のための基盤構築をお任せします。 データサイエンティスト/アナリストが行う仕事の基盤をつくり、お客様が抱える課題を解決まで導く業務となります。 ●業務詳細 ・データ収集・連携 　└外部SaaS/業務システムなど異なるソースからのデータ取り込み 　└バッチ開発やストリーミング処理 ・データ基盤の設計・構築・運用 　└DWH・DB・テーブルの設計(SQL、スキーマ、パーティショニング) 　└クラウドインフラの構築(AWS/GCP/Azure)、セキュリティ・ネットワーク設定、コスト最適化 ・データ整備・品質管理 　└ETL/ELTパイプラインの実装(dbt、Apache Kafka、Apache Spark) 　└データモデリング(スタースキーマ・Snowflake)、メタデータ管理、データカタログ整備 ・データ品質監視 　└検査ルール、データガバナンスの設定 　└アラート対応、テスト設計 ・提供・可視化支援 　└分析用マートの提供、BIツールへの接続最適化・可視化(Looker、Tableau、Power BI) ・運用・信頼性 　└パイプラインの監視・障害対応・パフォーマンスチューニング 　└Gitによる変更管理 プロジェクト例 ●Databricksを用いたデータ基盤の設計構築 <業務内容> 　・Databricks上のデータ基盤の設計/構築/検証 　・SAPのテーブルをDatabricksに連携 　・S3のテーブルをDatabricksに連携 　・ストリーミングテーブルの実装、ジョブ作成 <技術> 　Databricks, PySpark, SparkSQL, PowerBI, Git ●dbtを用いたETL、データパイプライン構築 <業務内容> 　・データパイプライン構築、フロー図作成 　・Bigqueryからのデータ抽出、データマートの設計・開発 　・ワークフローの監視 　・バッチ処理開発・運用 　・Tableauダッシュボードの設計・構築・運用 <技術> 　GCP(Bigquery,GCS), dbt, Tableau, Git