アジャイル・スクラム開発環境 SparkのITエンジニア求人・転職情報

【お任せする業務】 OSSを用いたビッグデータ活用システムの開発の下記のうちいずれかをご担当いただきます。 ●ビッグデータ×内製AIシステムのプラットフォーム&アプリのアジャイル開発リーダー ●装置センサーデータの収集・可視化を行う内製システムのITアーキテクト兼アジャイル開発リーダー 【具体的な仕事内容】 ●ビッグデータ×内製AIシステムのプラットフォーム&アプリのアジャイル開発リーダー [役割] ユーザ部門・アナリティクスチームと連携し、アジャイル開発を推進。価値が出るまで伴走します。 [業務内容] ・バックログ作成、スプリント運営、設計～開発～テスト～リリース～運用改善を一気通貫でリード ・プラットフォーム戦略(共通機能の整備、CI/CD、監視・可観測性の仕組み化)を検討・実行 ・リリース後の運用管理(SLO設計、障害対応、改善提案)も担当 ●装置センサーデータの収集・可視化を行う内製システムのITアーキテクト兼アジャイル開発リーダー [役割] ユーザ部門と調整し、システム要件や設計を決定。現場と同じ目線で最適解を導きます。 [業務内容] ・データパイプライン(収集→ストリーム処理→蓄積→可視化)の設計・開発・運用 ・リリース後のダッシュボード改善、アラート設計、性能チューニング ・チームを率いて短サイクルで価値リリース→効果測定→改善を回す [従事すべき業務の変更の範囲] (雇入れ直後)上記の通り (変更の範囲)その他会社が指示する業務 【言語】 Python、SQL、Java、JavaScript、VBA 【環境】 Linux 【技術】 Web:React、FastAPI ビッグデータ: Hadoop、HBase、Hive、Spark 時系列データ処理: Flink、Kafka、時系列データベース(DB) 生成AI:生成AI/RAG活用技術

当社では「アイデアを持つパートナー（起案者）」に対して、サービスデザインから技術選定、開発までを一気通貫で提供しています。 スタートアップの開発支援から大手企業の新規サービス立ち上げまで様々な規模のプロジェクトがあり、その中でもパブリッククラウド環境でのデータウェアハウス構築を担うデータエンジニアとして業務を担っていただきます。 【業務詳細】 ・パブリッククラウド（AWS、GCP、Azure など）上でのデータ基盤・データパイプラインの設計、構築、運用 ・データ収集、加工、ストレージに関わるシステムの開発 ・大規模データを対象としたETL (ELT) 処理の最適化 ・リアルタイムデータの処理 ・データクレンジング処理やデータマートの構築 ・データの可視化および分析基盤の構築支援 ・データパイプラインの品質管理、パフォーマンスの向上 ・データウェアハウスの運用保守 ・ステークホルダー（データアナリスト、データサイエンティストなど）との連携 ・顧客との要件定義や設計フェーズでのコミュニケーション

急成長する自社プロダクトを技術で支える SRE を募集します。 最先端の LLM 技術を活用したプロダクトでは、ユーザー体験の根幹となる「サービスの信頼性」を追求します。 もう一方のプロダクトでは、将来の事業拡大を見据えた「インフラ刷新とコスト最適化」を、大きな裁量のもとリードしていただきます。 安定稼働と事業成長の両輪を支える、非常に重要なポジションです。 あなたの技術力で、プロダクトの未来を支えてください。 ●具体的には ・プロダクトの特性に合わせたSLI/SLOの策定と、モニタリング環境の設計・構築 ・外部API(LLM)連携部分の安定稼働に向けた、継続的な監視とプロアクティブなパフォーマンス改善 ・将来的なアクセス増加に耐えうる、スケーラブルなインフラ基盤の再設計と技術選定のリード ・クラウド利用料の継続的なモニタリングと分析に基づいた、インフラコストの最適化 ※これまでのご経験領域やお持ちの知識に応じて、可能な業務からご対応いただき、徐々に対応範囲を広げていただきます。 最初からすべての業務を担う必要はありません。 知識・技術をキャッチアップしながらバリューを発揮いただける方に、本ポジションをお任せしたいと考えています。 ●自社プロダクト紹介 [建設業特化のバックオフィスDXサービス「Digital Billderシリーズ」](https://www.lp.digitalbillder.com/) ・建設業に特化したバックオフィスDXサービス。 ・Digital Billder見積書・発注・請求書・経費精算の4サービスから構成されるシリーズ。 サービス累計700社以上が導入。 [建設業特化の生成AIサービス「AIコンストシェルジュ 光/Hikari」](https://hikari.akariinc.co.jp/) ・建設業特化のAIエージェント。 ・ローンチ1年で300社の契約を達成 [製造業特化の生成AIサービス「製造業AIエージェント 工/Takumi」](https://takumi.akariinc.co.jp/) ・製造業特化のAIエージェント。 ・2025年ローンチの新プロダクト ●技術スタック(一例) フロントエンド Typescript Node.js React Next.js バックエンド Typescript Node.js Python NestJS FastAPI GraphQL Hasura gRPC インフラ Terraform Kubernetes AWS Microsoft Azure AI Python Numpy Pandas Pytorch OpenCV AI開発支援ツールの導入 当社では、最新の AI 開発支援ツールを実務に組み込み、効率と品質を同時に高めています。 主な活用例は以下の通りです。 ●Devin :自動タスク実行により、同時並行での実装数を向上 ●Claude Code :自然言語から高度なコード提案・改善を行い、実装スピードおよび同時並行実装数を向上 ●v0.dev :高速な UI モックアップ生成により、要件確認を迅速化 ●GitHub Copilot :日常的なコーディング補助により、作業効率を底上げ ●Gemini :Deep Research や Python 実行を活用した情報検索・解析で、調査および設計の精度を向上