その他・関連職種(Spark)の求人・転職情報

キオクシア株式会社

【お任せする業務】 OSSを用いたビッグデータ活用システムの開発の下記のうちいずれかをご担当いただきます。 ●ビッグデータ×内製AIシステムのプラットフォーム&アプリのアジャイル開発リーダー ●装置センサーデータの収集・可視化を行う内製システムのITアーキテクト兼アジャイル開発リーダー 【具体的な仕事内容】 ●ビッグデータ×内製AIシステムのプラットフォーム&アプリのアジャイル開発リーダー [役割] ユーザ部門・アナリティクスチームと連携し、アジャイル開発を推進。価値が出るまで伴走します。 [業務内容] ・バックログ作成、スプリント運営、設計～開発～テスト～リリース～運用改善を一気通貫でリード ・プラットフォーム戦略(共通機能の整備、CI/CD、監視・可観測性の仕組み化)を検討・実行 ・リリース後の運用管理(SLO設計、障害対応、改善提案)も担当 ●装置センサーデータの収集・可視化を行う内製システムのITアーキテクト兼アジャイル開発リーダー [役割] ユーザ部門と調整し、システム要件や設計を決定。現場と同じ目線で最適解を導きます。 [業務内容] ・データパイプライン(収集→ストリーム処理→蓄積→可視化)の設計・開発・運用 ・リリース後のダッシュボード改善、アラート設計、性能チューニング ・チームを率いて短サイクルで価値リリース→効果測定→改善を回す [従事すべき業務の変更の範囲] (雇入れ直後)上記の通り (変更の範囲)その他会社が指示する業務 【言語】 Python、SQL、Java、JavaScript、VBA 【環境】 Linux 【技術】 Web:React、FastAPI ビッグデータ: Hadoop、HBase、Hive、Spark 時系列データ処理: Flink、Kafka、時系列データベース(DB) 生成AI:生成AI/RAG活用技術

株式会社NTTデータ

OSSビジネス推進室は、Apache、Tomcat,、PostgreSQLなどよく使われているオープンソースソフトウェア(OSS)や、Hadoop,、Spark、Kafkaなどの大規模データを処理するために使われるOSSのサポートサービスや高難易度のプロジェクトへの適用や、課題解決、案件支援を行っています。 また、最近では、KVMを活用した仮想化基盤ソリューションを開発し、今後お客様に提供していく予定です。 本ポジションでは、事業部門と連携し、先進的/重要/高難易度のお客様プロジェクトに対し、OSSの提案を行い、プロジェクト計画策定までサポートを行います。 また、世の中の動向をキャッチし、OSSを活用したソフト、ソリューションを自ら企画し、お客様にご提案します。 市場・技術・顧客の変化に応じてマネージャーとして求められる役割も変化するが、メンバの採用から育成、メンバが担当する案件での直接のマネージメント、または技術戦略構想・マーケティング・ビジネスモデルの設計業務に従事する。 マネージメント対象となるメンバは下記業務に従事している。 事業部門と連携し、先進的/重要/高難易度のお客様プロジェクトに対し、OSSの提案を行い、プロジェクト計画策定までサポートを行う。 また、世の中の動向をキャッチし、OSSを活用したソフト、ソリューションを自ら企画し、お客様に提案する。

株式会社日立製作所

【職務概要】 研究開発全般を担い、サービスコンピューティングに関わる先端技術(クラウド、OSS、IT開発・運用管理)を用いた、製品・サービスにおけるイノベーションと破壊的技術の創生のために、業務の取り纏め者として、社内の関係者との関係を構築し、社内外の学習機会を活用するとともに、自身の経験や先行研究から積極的に学習する。 自身の研究の完遂を通じて、最善の方法を生み出す。 これらの研究開発を通じて社会インフラのDX・GXを加速するサービスPF・ソリューションに貢献する。 【職務詳細】 ・サービスコンピューティングに関わる技術、業界動向、市場動向の調査 ・研究戦略・ロードマップの作成および研究提案 ・顧客課題を解決するための最良のアプローチや技術を選択・開発することにより、顧客ニーズに合った製品とサービスを定義、また、当該製品やサービスの価値を検証するためのプロトタイプ及びデモの開発 ・技術的専門性の観点から事業部門への情報提供ならびに提言 ・研究進捗管理、成果管理、論文執筆、社内研究報告の執筆、知財創生 働く環境 ①2～5名規模の単位でチームを作り、個々人がその技術の専門家として自主性を重視して開発内容を分担するとともに、他部門の研究者や事業部門のリーダおよびチームと連携して業務を進めます。 ②在宅勤務を主として、ブレインストーミングなどのディスカッションなど、必要に応じて出社して推進いただきます。(週1回程度、個人差あり。) ※上記内容は、募集開始時点の内容であり、入社後必要に応じて変更となる場合がございます。予めご了承ください。 キャリアパス 研究や技術に突出した高位専門職と、研究チームを牽引するマネージャ(プレイングマネージャ含む) 配属組織名 Digital Innovation R&D　デジタルインフライノベーションセンタ　サービスコンピューティング研究部 配属組織について サービスコンピューティングは、さまざまなITサービスを用いて、ビジネスとしてのサービスを実現するための技術や方法論を検討する研究分野です。 これを支えるアーキテクチャ、プラットフォーム技術、開発・運用技術、OSSを研究開発しています。 これらの研究開発を通じて、デジタルトランスフォーメーションを加速させ、社会イノベーションの実現に貢献します。 【携わる事業・ビジネス・サービス・製品など】 ●研究概要 https://www.hitachi.co.jp/rd/careers/lab/digtec/02.html ●研究紹介動画 https://www.youtube.com/watch?v=52w95xmNT_Y Trust Data Sharing and Utilization Infrastructure for Sensitive Data Using Hyperledger Projects https://ossalsjp21.sched.com/event/rCg7 機械学習を用いたIT機器の性能異常検知におけるAmazon SageMakerの活用事例 https://pages.awscloud.com/JAPAN-event-OE-20211125-AIML-reg-event.html A Fault Diagnosis Method for Fuel Injectors Using Machine Sound Tien-Trien Le, Takahiro Sagara, Shogo Kunioka, Satoshi Inose, 2020 International Conference on Sensing, Diagnostics, Prognostics, and Control (SDPC) https://ieeexplore.ieee.org/abstract/document/9353183 OpsSC: Decentralized Blockchain Network Operation Workflow for Hyperledger Fabric https://ieeexplore.ieee.org/document/9680558 ●関連事業 稼働音・測定データから建設機械の状態を診断するスマホ診断アプリ「ConSite® Health Check」を提供開始 https://www.hitachicm.com/global/jp/news-list_jp/20-03-23j/ 日立と〈みずほ〉が、ブロックチェーン技術を活用した金流・商流・物流の一体管理とサプライチェーンファイナンスの高度化に関わる実証実験を開始 https://www.hitachi.co.jp/New/cnews/month/2020/12/1228.html 「IT運用最適化サービス」において、AI活用によりシステム稼働レポート作成業務のさらなる自動化を実現 https://www.hitachi.co.jp/Prod/comp/soft1/jp1/notice/2020/1002.html マルチクラウド環境で、人のスキルに依存しないシステム監視と一元的な業務運用管理を容易にする「JP1」の最新版を販売開始 高信頼な運用基盤をSaaS型で利用可能な「JP1 Cloud Service」も新たに提供 https://www.hitachi.co.jp/New/cnews/month/2021/01/0121.html