自社内開発メイン SparkのITエンジニア求人・転職情報

キオクシア株式会社

【お任せする業務】 OSSを用いたビッグデータ活用システムの開発の下記のうちいずれかをご担当いただきます。 ●ビッグデータ×内製AIシステムのプラットフォーム&アプリのアジャイル開発リーダー ●装置センサーデータの収集・可視化を行う内製システムのITアーキテクト兼アジャイル開発リーダー 【具体的な仕事内容】 ●ビッグデータ×内製AIシステムのプラットフォーム&アプリのアジャイル開発リーダー [役割] ユーザ部門・アナリティクスチームと連携し、アジャイル開発を推進。価値が出るまで伴走します。 [業務内容] ・バックログ作成、スプリント運営、設計～開発～テスト～リリース～運用改善を一気通貫でリード ・プラットフォーム戦略(共通機能の整備、CI/CD、監視・可観測性の仕組み化)を検討・実行 ・リリース後の運用管理(SLO設計、障害対応、改善提案)も担当 ●装置センサーデータの収集・可視化を行う内製システムのITアーキテクト兼アジャイル開発リーダー [役割] ユーザ部門と調整し、システム要件や設計を決定。現場と同じ目線で最適解を導きます。 [業務内容] ・データパイプライン(収集→ストリーム処理→蓄積→可視化)の設計・開発・運用 ・リリース後のダッシュボード改善、アラート設計、性能チューニング ・チームを率いて短サイクルで価値リリース→効果測定→改善を回す [従事すべき業務の変更の範囲] (雇入れ直後)上記の通り (変更の範囲)その他会社が指示する業務 【言語】 Python、SQL、Java、JavaScript、VBA 【環境】 Linux 【技術】 Web:React、FastAPI ビッグデータ: Hadoop、HBase、Hive、Spark 時系列データ処理: Flink、Kafka、時系列データベース(DB) 生成AI:生成AI/RAG活用技術

ソフトバンク株式会社

【ミッション】 「ソフトバンクの持続的成長・ビジネススピードの加速に貢献する」をミッションとし、安定したサービス提供とAIなどを活用した生産性向上を実現し、ビジネス部門を巻き込み、革新的なサービスを生み出すことを目標としています。 【主な業務】 ・通信事業におけるビジネスパートナー精算システムの開発 ・業務分析/要件定義から開発リリースまでの一連の工程のシステム開発と保守や、社内横断的なプロジェクトの遂行や業務企画推進、新たなIT技術の推進や導入検討 【具体的な業務】 ソフトバンクサービスにおけるビジネスパートナー精算などのバックヤード系システムをご担当いただきます。 ・社内システムにおける設計、開発、テストの実施 ※新システムの内製化を目指しており、入社後は本チームでの開発業務が中心になる想定です。 【環境】 プログラミング言語: Java, SQL フレームワーク: Spring Boot, Apache Beam 分散処理・クエリ基盤: Apache Flink, Trino データストア: Apache Iceberg (on HDFS), MySQL, Hive インフラ・環境: 仮想環境(Linux / MIRACLE LINUX) コンテナ・オーケストレーション: Docker, Kubernetes CI/CD・ビルド: GitLab CI/CD, Jenkins, Maven