スタッフエンジニア(Spark)の求人・転職情報

キオクシア株式会社

【お任せする業務】 OSSを用いたビッグデータ活用システムの開発の下記のうちいずれかをご担当いただきます。 ●ビッグデータ×内製AIシステムのプラットフォーム&アプリのアジャイル開発リーダー ●装置センサーデータの収集・可視化を行う内製システムのITアーキテクト兼アジャイル開発リーダー 【具体的な仕事内容】 ●ビッグデータ×内製AIシステムのプラットフォーム&アプリのアジャイル開発リーダー [役割] ユーザ部門・アナリティクスチームと連携し、アジャイル開発を推進。価値が出るまで伴走します。 [業務内容] ・バックログ作成、スプリント運営、設計～開発～テスト～リリース～運用改善を一気通貫でリード ・プラットフォーム戦略(共通機能の整備、CI/CD、監視・可観測性の仕組み化)を検討・実行 ・リリース後の運用管理(SLO設計、障害対応、改善提案)も担当 ●装置センサーデータの収集・可視化を行う内製システムのITアーキテクト兼アジャイル開発リーダー [役割] ユーザ部門と調整し、システム要件や設計を決定。現場と同じ目線で最適解を導きます。 [業務内容] ・データパイプライン(収集→ストリーム処理→蓄積→可視化)の設計・開発・運用 ・リリース後のダッシュボード改善、アラート設計、性能チューニング ・チームを率いて短サイクルで価値リリース→効果測定→改善を回す [従事すべき業務の変更の範囲] (雇入れ直後)上記の通り (変更の範囲)その他会社が指示する業務 【言語】 Python、SQL、Java、JavaScript、VBA 【環境】 Linux 【技術】 Web:React、FastAPI ビッグデータ: Hadoop、HBase、Hive、Spark 時系列データ処理: Flink、Kafka、時系列データベース(DB) 生成AI:生成AI/RAG活用技術