月平均残業20時間以内 SparkのITエンジニア求人・転職情報

業務概要 顧客企業と伴走しながら、生成AIや機械学習を組み込んだアプリケーション/システムの設計〜開発〜運用までを担当します。 <主な業務例> ・生成AIを組み込んだAIエージェントアプリケーションの開発 ・生成AIアプリケーション/システムのLLMOps/AgentOps設計・開発 ・機械学習PoCプロジェクトの本番化/製品化に向けての開発 ・機械学習アプリケーション/システムのMLOps設計・開発 ・機械学習アプリケーション/システムの新規技術・サービス調査検証 ※詳細は面接時に説明します。 プロジェクト事例 AI自動発注システム 未来型無人化店舗「SECURE AI STORE LAB」開発 技術スタック 言語:Python、SQL、Scala、Java DWH:Snowflake、BigQuery、Redshift データ基盤:Databricks、Spark、Presto、Hadoop BIツール:Tableau、Looker、PowerBI、Datorama、DOMOなど クラウド:AWS、GCP、Azure ETL/ELTツール: dbt、Fivetran、trocco、Airbyte、Talend、AWS Glue AIフレームワーク:VertexAI、SageMaker、AzureML IaCツール:Terraform、CloudFormation、Ansible

機械学習や統計モデリング、データ分析を活用して、お客様のビジネスに持続的成長と新しい可能性を創出するミッションに対し、プロジェクトマネージャーとして推進いただきます。 仮説の設定から必要データの入手・確認、分析手法の選定、検証を行うだけでなく、分析結果を元に、より深い分析計画や施策の改善提案等も行います。 また、プロジェクトの推進にあたっては、データ基盤の設計・開発・運用も担当いただきます。 プロジェクト事例 ●製造業向け機器の故障予測モデル開発 ●機械学習を用いたオークション落札価格の予測 ●金融業向け生成AIを活用した業務効率化 技術環境 言語:Python、SQL、Scala、Java DWH:Snowflake、BigQuery、Redshift データ基盤:Databricks、Spark、Presto、Hadoop BIツール:Tableau、Looker、PowerBI、Datorama、DOMOなど クラウド:AWS、GCP、Azure ETL/ELTツール: dbt、Fivetran、trocco、Airbyte、Talend、AWS Glue AIフレームワーク:VertexAI、SageMaker、AzureML IaCツール:Terraform、CloudFormation、Ansible

【お任せする業務】 OSSを用いたビッグデータ活用システムの開発の下記のうちいずれかをご担当いただきます。 ●ビッグデータ×内製AIシステムのプラットフォーム&アプリのアジャイル開発リーダー ●装置センサーデータの収集・可視化を行う内製システムのITアーキテクト兼アジャイル開発リーダー 【具体的な仕事内容】 ●ビッグデータ×内製AIシステムのプラットフォーム&アプリのアジャイル開発リーダー [役割] ユーザ部門・アナリティクスチームと連携し、アジャイル開発を推進。価値が出るまで伴走します。 [業務内容] ・バックログ作成、スプリント運営、設計～開発～テスト～リリース～運用改善を一気通貫でリード ・プラットフォーム戦略(共通機能の整備、CI/CD、監視・可観測性の仕組み化)を検討・実行 ・リリース後の運用管理(SLO設計、障害対応、改善提案)も担当 ●装置センサーデータの収集・可視化を行う内製システムのITアーキテクト兼アジャイル開発リーダー [役割] ユーザ部門と調整し、システム要件や設計を決定。現場と同じ目線で最適解を導きます。 [業務内容] ・データパイプライン(収集→ストリーム処理→蓄積→可視化)の設計・開発・運用 ・リリース後のダッシュボード改善、アラート設計、性能チューニング ・チームを率いて短サイクルで価値リリース→効果測定→改善を回す [従事すべき業務の変更の範囲] (雇入れ直後)上記の通り (変更の範囲)その他会社が指示する業務 【言語】 Python、SQL、Java、JavaScript、VBA 【環境】 Linux 【技術】 Web:React、FastAPI ビッグデータ: Hadoop、HBase、Hive、Spark 時系列データ処理: Flink、Kafka、時系列データベース(DB) 生成AI:生成AI/RAG活用技術

社内における、DataOps推進のためのデータ利活用するための基盤設計、データ戦略立案、データガバナンスのプランニングなどを行っていただきます。 DMBOKの思想などを理解したうえで現代のデータを元に事業が動くために必要な要件に取り組んでもらいます。 【業務詳細】 社内データ基盤のアーキテクチャ設計を主導 既存データインフラ環境の分析や、改善提案。 具体的なアプローチの提示 データガバナンスのポリシーの策定と推進 自社内のチームや他部署と連携し、データ基盤プロジェクトの推進

データサイエンティストやAIエンジニアと連携し、下記の業務を担当いただきます。 ●ML基盤の設計・構築・運用 ・AWS,GCP,Azure等を用いたMLインフラの設計・運用 ・PythonコードやMLモデルのDockerイメージ作成、最適化 ・Kubernetes (EKS/GKE/AKS)による本番環境のコンテナオーケストレーション ・Terraform/CloudFormationによるインフラ構成管理 ・コスト見積もり・最適 ●MLOpsパイプライン構築・運用 ・CI/CDパイプライン(GitHub Actions等)設計・運用 ・Airflow, Kubeflow, VertexAI/SageMaker Pipelines等によるMLパイプライン自動化 ・MLflow等による実験管理・モデルレジストリ運用 ●モデルデプロイ・監視 ・ KServe, SageMaker Endpoint等によるモデルAPIデプロイ ・prometheus, Grafana, Datadog等を活用したシステム・モデルのモニタリング ・モデル性能(レイテンシ、精度等)の監視・ロギング・アラート設計 ・再学習サイクルの自動化と改善提案 【主なクライアント】 ・国内の金融業、製造業、流通業、等々多岐にわたる大手企業がクライアントです。 ・大手飲料メーカー、大手通信キャリア、大手自動車会社、大手電力会社、大手保険会社、大手信託銀行、大手航空会社、大手家電メーカー　等

●業務概要 パーソルグループ企業もしくは提携企業にて顧客や社内の部門に対して、お客様が保有する様々なデータを活用可能な形に処理し、データ分析のための基盤構築をお任せします。 データサイエンティスト/アナリストが行う仕事の基盤をつくり、お客様が抱える課題を解決まで導く業務となります。 ●業務詳細 ・データ収集・連携 　└外部SaaS/業務システムなど異なるソースからのデータ取り込み 　└バッチ開発やストリーミング処理 ・データ基盤の設計・構築・運用 　└DWH・DB・テーブルの設計(SQL、スキーマ、パーティショニング) 　└クラウドインフラの構築(AWS/GCP/Azure)、セキュリティ・ネットワーク設定、コスト最適化 ・データ整備・品質管理 　└ETL/ELTパイプラインの実装(dbt、Apache Kafka、Apache Spark) 　└データモデリング(スタースキーマ・Snowflake)、メタデータ管理、データカタログ整備 ・データ品質監視 　└検査ルール、データガバナンスの設定 　└アラート対応、テスト設計 ・提供・可視化支援 　└分析用マートの提供、BIツールへの接続最適化・可視化(Looker、Tableau、Power BI) ・運用・信頼性 　└パイプラインの監視・障害対応・パフォーマンスチューニング 　└Gitによる変更管理 プロジェクト例 ●Databricksを用いたデータ基盤の設計構築 <業務内容> 　・Databricks上のデータ基盤の設計/構築/検証 　・SAPのテーブルをDatabricksに連携 　・S3のテーブルをDatabricksに連携 　・ストリーミングテーブルの実装、ジョブ作成 <技術> 　Databricks, PySpark, SparkSQL, PowerBI, Git ●dbtを用いたETL、データパイプライン構築 <業務内容> 　・データパイプライン構築、フロー図作成 　・Bigqueryからのデータ抽出、データマートの設計・開発 　・ワークフローの監視 　・バッチ処理開発・運用 　・Tableauダッシュボードの設計・構築・運用 <技術> 　GCP(Bigquery,GCS), dbt, Tableau, Git

当社では「アイデアを持つパートナー（起案者）」に対して、サービスデザインから技術選定、開発までを一気通貫で提供しています。 スタートアップの開発支援から大手企業の新規サービス立ち上げまで様々な規模のプロジェクトがあり、その中でもパブリッククラウド環境でのデータウェアハウス構築を担うデータエンジニアとして業務を担っていただきます。 【業務詳細】 ・パブリッククラウド（AWS、GCP、Azure など）上でのデータ基盤・データパイプラインの設計、構築、運用 ・データ収集、加工、ストレージに関わるシステムの開発 ・大規模データを対象としたETL (ELT) 処理の最適化 ・リアルタイムデータの処理 ・データクレンジング処理やデータマートの構築 ・データの可視化および分析基盤の構築支援 ・データパイプラインの品質管理、パフォーマンスの向上 ・データウェアハウスの運用保守 ・ステークホルダー（データアナリスト、データサイエンティストなど）との連携 ・顧客との要件定義や設計フェーズでのコミュニケーション