インフラエンジニア(Spark)の求人・転職情報

株式会社SUBARU

アイサイトの画像認識ソフトウェアを対象とした、 ・オンプレミスやクラウドのインフラ上でのCI/CD・テスト自動化プラットフォーム構築 ・CI/CD・テスト自動化プラットフォームの設計や利用するツール群の選定 <具体的には> 画像認識ソフトウェアを対象とした、 ①ソフトウェア構成管理ツール(Git)を活用した、CI/CDシステムの構築。 ※:GitのCI/CDの機能を使った、CI/CDシステムの構築。 ②オンプレミスとクラウドのテスト自動化プラットフォームの構築。 ※:オンプレミスとクラウドの両方を活用した、テスト自動化環境のプラットフォーム設計と構築。 ③CI/CD・テスト自動化プラットフォームで利用するツール群の選定 ※:オープンソースソフトウェアや有償ツールなどのCI/CDやテスト自動化プラットフォームを構築する上で必要なツール群を選定する。 <使用言語/環境/ツール/資格等> ・開発言語:C/C++ ・リポジトリ管理ツール:GitLab , GitHub ・OS:Linux、Windows ・コンテナ:Docker、Kubernetes ・クラウドサービス:AWS 【取り扱っていただくプロダクト/技術】 ・アイサイトのステレオカメラの画像認識ソフトウェア 当社が実現する「予防安全」は国内外の安全性評価において常にトップクラスの評価をいただいていますが、リアルワールドで安心して使える技術を追及して、2030年に死亡交通事故ゼロを実現していきます。 アイサイトは、ステレオカメラを搭載することで、人の目と同じように、あらゆる物体に対する高い認識性能を実現しつつ、高精度な物体の位置・速度を測ることができ、多様な検知情報を組み合わせることで、高度な運転支援機能を実現する事が出来ます。これらの一部を(画像認識)ソフトウェアにて実現しています。 【変更の範囲】 会社の定める業務(※) (※)業務の都合によっては会社外の職務に従事するため出向又は転属を命じることがあります。

株式会社NTTデータ

NTTグループは、トヨタ自動車様とのモビリティ領域において、広く連携しています。AIや自動運転といった先進領域における取り組みから、商用システム開発まで、幅広く推進しています。 その中で、NTTデータはコネクティッドカーから得られる膨大なデータを活用するためのプラットフォーム開発や、関連する各種システム開発プロジェクトを数多く推進しています。 本ポジションでは、こうしたプロジェクトにおいて、システム全体の企画・設計・開発・推進を担うシステムエンジニアとしてご活躍いただきます。 先進技術のPoC推進から、アプリケーション開発、アーキテクチャ設計、プロジェクト推進など、これまでのご経験や強みに応じて、幅広い役割を担っていただくことを想定しています。 先進技術を活用しながら、単なるシステム開発にとどまらず、新しいモビリティ社会を支える仕組みづくりに上流から関われることが、この仕事の大きな特徴です。 ※意向・適性を互い擦り合わせ可能です。

株式会社日立製作所

【職務概要】 研究開発全般を担い、サービスコンピューティングに関わる先端技術(クラウド、OSS、IT開発・運用管理)を用いた、製品・サービスにおけるイノベーションと破壊的技術の創生のために、業務の取り纏め者として、社内の関係者との関係を構築し、社内外の学習機会を活用するとともに、自身の経験や先行研究から積極的に学習する。 自身の研究の完遂を通じて、最善の方法を生み出す。 これらの研究開発を通じて社会インフラのDX・GXを加速するサービスPF・ソリューションに貢献する。 【職務詳細】 ・サービスコンピューティングに関わる技術、業界動向、市場動向の調査 ・研究戦略・ロードマップの作成および研究提案 ・顧客課題を解決するための最良のアプローチや技術を選択・開発することにより、顧客ニーズに合った製品とサービスを定義、また、当該製品やサービスの価値を検証するためのプロトタイプ及びデモの開発 ・技術的専門性の観点から事業部門への情報提供ならびに提言 ・研究進捗管理、成果管理、論文執筆、社内研究報告の執筆、知財創生 働く環境 ①2～5名規模の単位でチームを作り、個々人がその技術の専門家として自主性を重視して開発内容を分担するとともに、他部門の研究者や事業部門のリーダおよびチームと連携して業務を進めます。 ②在宅勤務を主として、ブレインストーミングなどのディスカッションなど、必要に応じて出社して推進いただきます。(週1回程度、個人差あり。) ※上記内容は、募集開始時点の内容であり、入社後必要に応じて変更となる場合がございます。予めご了承ください。 キャリアパス 研究や技術に突出した高位専門職と、研究チームを牽引するマネージャ(プレイングマネージャ含む) 配属組織名 Digital Innovation R&D　デジタルインフライノベーションセンタ　サービスコンピューティング研究部 配属組織について サービスコンピューティングは、さまざまなITサービスを用いて、ビジネスとしてのサービスを実現するための技術や方法論を検討する研究分野です。 これを支えるアーキテクチャ、プラットフォーム技術、開発・運用技術、OSSを研究開発しています。 これらの研究開発を通じて、デジタルトランスフォーメーションを加速させ、社会イノベーションの実現に貢献します。 【携わる事業・ビジネス・サービス・製品など】 ●研究概要 https://www.hitachi.co.jp/rd/careers/lab/digtec/02.html ●研究紹介動画 https://www.youtube.com/watch?v=52w95xmNT_Y Trust Data Sharing and Utilization Infrastructure for Sensitive Data Using Hyperledger Projects https://ossalsjp21.sched.com/event/rCg7 機械学習を用いたIT機器の性能異常検知におけるAmazon SageMakerの活用事例 https://pages.awscloud.com/JAPAN-event-OE-20211125-AIML-reg-event.html A Fault Diagnosis Method for Fuel Injectors Using Machine Sound Tien-Trien Le, Takahiro Sagara, Shogo Kunioka, Satoshi Inose, 2020 International Conference on Sensing, Diagnostics, Prognostics, and Control (SDPC) https://ieeexplore.ieee.org/abstract/document/9353183 OpsSC: Decentralized Blockchain Network Operation Workflow for Hyperledger Fabric https://ieeexplore.ieee.org/document/9680558 ●関連事業 稼働音・測定データから建設機械の状態を診断するスマホ診断アプリ「ConSite® Health Check」を提供開始 https://www.hitachicm.com/global/jp/news-list_jp/20-03-23j/ 日立と〈みずほ〉が、ブロックチェーン技術を活用した金流・商流・物流の一体管理とサプライチェーンファイナンスの高度化に関わる実証実験を開始 https://www.hitachi.co.jp/New/cnews/month/2020/12/1228.html 「IT運用最適化サービス」において、AI活用によりシステム稼働レポート作成業務のさらなる自動化を実現 https://www.hitachi.co.jp/Prod/comp/soft1/jp1/notice/2020/1002.html マルチクラウド環境で、人のスキルに依存しないシステム監視と一元的な業務運用管理を容易にする「JP1」の最新版を販売開始 高信頼な運用基盤をSaaS型で利用可能な「JP1 Cloud Service」も新たに提供 https://www.hitachi.co.jp/New/cnews/month/2021/01/0121.html

株式会社エス・エム・エス

ミッション 事業の戦略やマーケットの要求などを背景にした複雑な事業課題に対し、技術的な側面から最適な解決策を提案・設計・実装することで、事業の生産性を最大化し、顧客への提供価値の最大化を実現することがミッションです。 本ポジションにおいては、開発チームの一員として自ら手を動かして実装しながら、主体的な自己学習と組織への還元によってチーム全体の成長を促していくリーダーシップも期待しています。 業務詳細 新規システム構築や既存システムの改善において、技術的なオーナーシップを持ち、他のメンバーと協力しながら以下の業務を推進していただきます。 ※担当するシステムは、選考を通じて強みやご経験、携わりたい事業やシステムを伺って適宜決定していきます。 ①事業課題を解決するためのシステム的な解決策の検討/提案/実行 ・事業担当やプロジェクト推進担当といったステークホルダーと連携しながらシステムに求められる要件の具体化 ・ビジネス/非機能要件に基づく最適なアプリケーションの設計/実装 ②開発プロセスの最適化によるチーム生産性の最大化 ・目的に応じたアジャイルやドメイン駆動設計などの開発手法の導入 ・チーム状況に合わせた開発プロセスの最適化と定着までの推進 ・生成AIを活用した開発の推進 ③品質担保と技術的負債管理 ・品質基準の定義と、コードレビュー等による品質確保 ・技術的負債の評価と、事業影響を考慮した戦略的な解消計画の推進 ・ユーザーフィードバックを活かした継続的な改善リード ※事業や所属部門の状況の変化等により、会社の指示する職務内容へ変更することがある 開発環境、利用ツール(例) ※チームにより環境は異なります ※チームにより環境は異なります ・Kotlin、Java、Python、JavaScript(node.js、react.js)、TypeScript ・AWS(RDS、DynamoDB、AuroraDB、CDK、Lambda、ApiGateway、S3、CodePipeline) ・GCP(BigQuery、Cloud Composer(Airflow)、GCS、CloudSQL、CloudBuild) ・Docker、Google Kubernetes Engine ・hono、vitest、Vue、zod、biome ・Salesforce(Apex / LWC / Visualforce)、Kintone、Pentaho、LINE Developers ・VSCode、GitHub、jenkins、Trello、Backlog、esa等 将来のキャリアパス SMS全体のキャリアの考え方として、こうあるべきと定めているものはなく、個人の考えや適性に応じて、共にキャリアを形成していくべきだと考えています。 そのため、ご自身のキャリア志向次第でどのようなキャリアプランも実現可能性がございます。 <キャリア例> ・エンジニアリングの知見を積み重ねていくことで、チームにおける技術的な意思決定(技術選定/アーキテクチャ検討)に携わるテックリード ・開発プロセスの整備やチームビルドなども手掛けることで、社内業務システムのエンジニアリング・マネージャー ・プロダクトのあるべきを考え、方向性/ロードマップの策定などを手掛けることでプロダクト・マネージャへの役割拡張 ・ユーザー部門へのヒアリングや事業の課題抽出、施策の推進などを手掛けることでビジネス・アーキテクトへの役割拡張 ・事業理解を深めることで、社内システムだけでなく顧客へ価値提供するサービス開発への役割拡張 ・ITインフラよりの領域に拡張して、グループ全体のIT基盤を設計/構築するITアーキテクトへの役割拡張 入社後の流れ 入社後は全体研修を実施し、会社の理念や事業内容、各種制度について説明します。 その後は、配属部署にて実務を通じたOJTでキャッチアップを進めていただきます。 即戦力としてご活躍いただけるよう、必要に応じてサポートしますので、不明点や困りごとは気軽に相談できる環境です。 働き方 ●出社/リモートワークのハイブリッド型です。実態としては、多くの社員がリモート中心で勤務しております。 (とくに出社日等は設けておらず、自身の成果を最大化するにあたって、その時々で最適だと思う選択をしていただく、というポリシーとなっています。) ●残業時間はチーム平均で20~30時間/月ほどで、施策の状況やインシデント対応が発生しているときは少し上振れる場合もあります。 ●フレックスタイム制となっており、メリハリをつけて働ける環境です。 配属部署 ●BPR推進部のミッションと目指す姿 私たちBPR推進部は、事業やサービスをご利用いただく顧客・ユーザーへの価値提供を最大化することを目指し、業務プロセスの最適化・効率化、オペレーション設計を推進する部門です。 従来は社内メンバーの業務支援を中心に担ってきましたが、事業や市場環境の変化が加速し、より複雑性が増す中で、真に価値ある業務プロセスを設計するためには、顧客の課題解決に焦点を当てることが不可欠であると考え、価値提供の軸足を「社内」から「顧客」へと移しています。 現在は正社員、契約社員、派遣社員を合わせて90名ほどの体制となっており、今後も事業/会社の成長に伴って規模拡大・増員を予定しています。 その他環境 ・出社/リモートワークのハイブリッド型です。実態としては、多くの社員がリモート中心で勤務しております。 (とくに出社日等は設けておらず、自身の成果を最大化するにあたって、その時々で最適だと思う選択をしていただく、というポリシーとなっています。) ・残業時間はチーム平均で20~30時間/月ほどで、施策の状況やインシデント対応が発生しているときは少し上振れる場合もあります。 ・フレックスタイム制となっており、メリハリをつけて働ける環境です。

株式会社ITSO

当社では、AX/DX領域におけるクラウド基盤の設計・構築・運用をリードする**即戦力クラウドエンジニア**を募集しています。 AWS / Azure / GCP を活用し、大手企業の業務改革を支えるミッションクリティカルなシステムの構築に携わります。 単なるインフラ構築ではなく、アーキテクチャ設計・技術選定・DevOps推進まで裁量を持って関われるポジションです。 業界問わず企業の業務改善を担うAX/DX業務においてDevOps環境を構築等、IT基盤業務をお任せします。 【具体的な仕事内容】 ● クラウドアーキテクチャ設計 ・AWS / Azure / Google Cloudを活用した基盤設計 ・クラウド移行戦略策定 ・マルチクラウド環境設計 ・クラウドネイティブアーキテクチャ設計 ・AI/データ活用基盤設計 ・システム構成最適化 ● クラウドインフラ構築 ・クラウド環境構築 ・ネットワーク設計 ・認証基盤設計 ・高可用性構成設計 ・バックアップ/DR設計 ・コンテナ基盤構築 ● DevOps・自動化推進 ・Infrastructure as Code(IaC)導入 ・CI/CDパイプライン構築 ・GitOps環境構築 ・自動テスト環境整備 ・運用自動化 ・Platform Engineering推進 ● 運用・改善 ・監視設計 ・SRE活動 ・障害分析/改善 ・性能改善 ・コスト最適化 ・セキュリティ強化 開発環境・業務範囲 Azure、AWS、GCP、Google Cloud等(クラウド全領域)

株式会社ABEJA

ミッション 「ロボットとクラウドを繋ぐ堅牢な基盤を構築し、大規模ロボット基盤モデル開発を加速させる」 まずは、ロボット実機、オンプレミス環境、クラウド基盤、大規模データパイプラインを安定的につなぐインフラ/基盤の中核を担っていただきます。 その上で、研究者やプロダクト開発チームと協働しながら、データを使える形にするアプリケーションやUIへと役割を広げていくことを期待しています。 業務内容 ●主に担っていただく領域(インフラ軸) ・ハイブリッドクラウド/オンプレミス環境の設計・構築・運用 └ロボット実機、オンプレミス環境(ストレージ・GPUサーバー)、クラウド(AWS等)を跨ぐインフラ/データ基盤のアーキテクチャ設計ネットワーク、セキュリティ、データ転送の最適化 ・技術選定・技術検証・プロトタイプ開発・MVP構築 └仕様が固まっていない段階から、動くものを素早く作り検証する ●将来的に期待する役割(フルスタック方向) ・ロボット操作・管理に関わるWebアプリケーション開発 └ロボット管理・遠隔操作・データ可視化等の画面 └フロントエンド(React / TypeScript) └バックエンド(Go / Python) ・大規模データ基盤の設計・運用(★他メンバーと協働) └ロボット由来の非構造化データを扱うデータパイプライン設計 └ワークフローエンジン(Airflow , Dagster)を用いたワークフロー定義 └学習・分析用途に耐えうるデータレイアウト・クエリ基盤の構築 └データ処理基盤の信頼性担保、監視系の構築 ※アプリケーション領域については、入社時点での深い経験は必須ではありません。 インフラを主軸としつつ、関心や強みに応じて段階的に広げていくことを想定しています。 ●変更の範囲 会社の定める業務へ配置転換の可能性あり

株式会社メドレー

医療機関・患者双方に支持されるプロダクトの品質保証を担い、開発チームと伴走しながら以下業務を推進していただきます。 ・仕様レビュー・設計段階からの品質観点の提案・改善 ・新機能開発・改修におけるテスト計画、設計、実施、バグ管理 ・API / UI / E2E テストの自動化設計・実装・運用 ・CI/CD 環境への QA プロセス組み込み、KPI 設計・モニタリング ・品質改善やチームの生産性向上に向けたプロセス最適化、ナレッジ共有各プロダクト QAメンバーとの連携、横断的な品質戦略の策定・推進 ※業務の変更の範囲:会社の定める業務

パーソルクロステクノロジー株式会社

●業務概要 パーソルグループ企業もしくは提携企業にて顧客や社内の部門に対して、お客様が保有する様々なデータを活用可能な形に処理し、データ分析のための基盤構築をお任せします。 データサイエンティスト/アナリストが行う仕事の基盤をつくり、お客様が抱える課題を解決まで導く業務となります。 ●業務詳細 ・データ収集・連携 　└外部SaaS/業務システムなど異なるソースからのデータ取り込み 　└バッチ開発やストリーミング処理 ・データ基盤の設計・構築・運用 　└DWH・DB・テーブルの設計(SQL、スキーマ、パーティショニング) 　└クラウドインフラの構築(AWS/GCP/Azure)、セキュリティ・ネットワーク設定、コスト最適化 ・データ整備・品質管理 　└ETL/ELTパイプラインの実装(dbt、Apache Kafka、Apache Spark) 　└データモデリング(スタースキーマ・Snowflake)、メタデータ管理、データカタログ整備 ・データ品質監視 　└検査ルール、データガバナンスの設定 　└アラート対応、テスト設計 ・提供・可視化支援 　└分析用マートの提供、BIツールへの接続最適化・可視化(Looker、Tableau、Power BI) ・運用・信頼性 　└パイプラインの監視・障害対応・パフォーマンスチューニング 　└Gitによる変更管理 プロジェクト例 ●Databricksを用いたデータ基盤の設計構築 <業務内容> 　・Databricks上のデータ基盤の設計/構築/検証 　・SAPのテーブルをDatabricksに連携 　・S3のテーブルをDatabricksに連携 　・ストリーミングテーブルの実装、ジョブ作成 <技術> 　Databricks, PySpark, SparkSQL, PowerBI, Git ●dbtを用いたETL、データパイプライン構築 <業務内容> 　・データパイプライン構築、フロー図作成 　・Bigqueryからのデータ抽出、データマートの設計・開発 　・ワークフローの監視 　・バッチ処理開発・運用 　・Tableauダッシュボードの設計・構築・運用 <技術> 　GCP(Bigquery,GCS), dbt, Tableau, Git

燈株式会社

急成長する自社プロダクトを技術で支える SRE を募集します。 最先端の LLM 技術を活用したプロダクトでは、ユーザー体験の根幹となる「サービスの信頼性」を追求します。 もう一方のプロダクトでは、将来の事業拡大を見据えた「インフラ刷新とコスト最適化」を、大きな裁量のもとリードしていただきます。 安定稼働と事業成長の両輪を支える、非常に重要なポジションです。 あなたの技術力で、プロダクトの未来を支えてください。 ●具体的には ・プロダクトの特性に合わせたSLI/SLOの策定と、モニタリング環境の設計・構築 ・外部API(LLM)連携部分の安定稼働に向けた、継続的な監視とプロアクティブなパフォーマンス改善 ・将来的なアクセス増加に耐えうる、スケーラブルなインフラ基盤の再設計と技術選定のリード ・クラウド利用料の継続的なモニタリングと分析に基づいた、インフラコストの最適化 ※これまでのご経験領域やお持ちの知識に応じて、可能な業務からご対応いただき、徐々に対応範囲を広げていただきます。 最初からすべての業務を担う必要はありません。 知識・技術をキャッチアップしながらバリューを発揮いただける方に、本ポジションをお任せしたいと考えています。 ●自社プロダクト紹介 [建設業特化のバックオフィスDXサービス「Digital Billderシリーズ」](https://www.lp.digitalbillder.com/) ・建設業に特化したバックオフィスDXサービス。 ・Digital Billder見積書・発注・請求書・経費精算の4サービスから構成されるシリーズ。 サービス累計700社以上が導入。 [建設業特化の生成AIサービス「AIコンストシェルジュ 光/Hikari」](https://hikari.akariinc.co.jp/) ・建設業特化のAIエージェント。 ・ローンチ1年で300社の契約を達成 [製造業特化の生成AIサービス「製造業AIエージェント 工/Takumi」](https://takumi.akariinc.co.jp/) ・製造業特化のAIエージェント。 ・2025年ローンチの新プロダクト ●技術スタック(一例) フロントエンド Typescript Node.js React Next.js バックエンド Typescript Node.js Python NestJS FastAPI GraphQL Hasura gRPC インフラ Terraform Kubernetes AWS Microsoft Azure AI Python Numpy Pandas Pytorch OpenCV AI開発支援ツールの導入 当社では、最新の AI 開発支援ツールを実務に組み込み、効率と品質を同時に高めています。 主な活用例は以下の通りです。 ●Devin :自動タスク実行により、同時並行での実装数を向上 ●Claude Code :自然言語から高度なコード提案・改善を行い、実装スピードおよび同時並行実装数を向上 ●v0.dev :高速な UI モックアップ生成により、要件確認を迅速化 ●GitHub Copilot :日常的なコーディング補助により、作業効率を底上げ ●Gemini :Deep Research や Python 実行を活用した情報検索・解析で、調査および設計の精度を向上

株式会社サイバーエージェント

新規機能開発、インフラ保守・運用管理、CSサポートなど1サービスのバックエンドに関連するすべての事柄を受け持っています。 基本的にはGoアプリケーション開発を行いながら、機能実装する上で必要な様々な分野の技術・インフラを用いた作業を行います。 バックエンドアーキテクチャは当初から変わっておらず、マイクロサービス、クリーンアーキテクチャ、DDD、モノレポを採用しています。 少数精鋭チームで開発を行なっており、API開発はもとより、インフラ構築含めた外部連携、CSサポート、運用まで、バックエンドに関係する工程は全てチーム内で一気通貫で管理しています。 ●チームの文化や体制 現在開発チームは60名程の組織です。そのうちエンジニアは30名程になります。各メンバーが事業グロースを推し進めるという高い意識を持ち、それぞれの意見を持ち寄りながら、時には自分の職域を超えて開発へ取り組んでいます。 また組織の文化として、本人の志向性を尊重した上で年齢に関わらずリーダーポジションへの抜擢が行われるケースがあります。各メンバーのキャリア形成を支援するために定期的な面談も実施しています。 ●環境 ・原則週3日出社、週2日リモートワーク(相談可) ・コミュニケーションツールは Slack や Zoom などを利用 ・定期的な1on1 ・交流ランチ 【チーム体制】 ・サーバーサイドエンジニア: 10名+α 【開発環境関連】 ・GCP, Kubernetes, Cloud Spanner ・AWS(映像関連) ・GitHub, Go, gRPC, envoy, Terraform, Docker ・モノレポ, クリーンアーキテクチャ, マイクロサービス 【チームの雰囲気】 ・少人数(10名程度)ながらも幅広い分野を受け持ち様々なことに挑戦しています。 ・年齢層は若手から中堅まで幅広いです。 ・フリーアドレス制度を採用しているため、出社時は他職種との連携も盛んに行われています。 ・リモート作業時は夕方頃にオフィスアワー時間をとり疑問や相談事の解消に利用しています。 ・チーム活性化を目的とした月イチ懇親会、合宿の実施や、スキルのボトムアップを目的としたドメイン知識の勉強会、実装コードのディスカッション、モブプロを実施しています。