データベースエンジニア(PyTorch)の求人・転職情報

【具体的には】　※ご経験/スキルに合わせ詳細業務を決定します 自社開発しているAD/ADASシステムの商品性や安全性能といった対他競争力を高めるためには、市場でのシステムの使われ方や弱点を早く、正確に把握することが必要です。そのためには、市場を走行しているユーザー車両から周辺状況、ドライバー状態、車両状態など、様々なデータを収集・分析して、商品開発にフィードバックするデータドリブン開発を如何に他社よりも早く、安く、上手く実現できるかが鍵となります。 私たちの部門は、このデータドリブン開発を支援するためのデータエンジニアリングが主な役割であり、具体的には以下のような業務を推進しています。 ●データパイプラインの構築: 　世界中のお客様が使っているホンダ車から集めた市場データや、開発車両による公道走行で取得したデータを高速かつ低コストに集約し、使いやすい形に加工変換し、保管するため一連のデータ流れ(ELT/ETL)の設計・構築 ●データ基盤の設計・構築: 　収集したデータを効率的に管理するため仕組み(データレイク、データウェアハウスなど)をクラウド上に構築 　また、保存されているデータの可視化や、使いたいデータを検索するためのダッシュボードを構築 ●データ品質管理(データクレンジング) 　データの欠損や不整合などを解消し、分析に使える品質の高いデータに整える ●データガバナンス: 　データのセキュリティやアクセス管理など、データを適切に管理・利用するためのルールの作成と徹底 尚、他部門やベンダー等、様々な関係者とコミュニケーションをとりながら業務を進めていきます。世界中からデータを集めるため、海外現地法人や海外研究機関など、海外とのやりとりが発生する場合があります。 ※専門性や適性、会社ニーズなどを踏まえ、会社が定める業務への配置転換を命じる場合があります。 【開発ツール】 業務では以下のような開発ツールを使用していますが、全てについて使用経験がある必要はありません。 ●AWS: Lambda、SageMaker, Athena, Redshift 等 ●CI/CD: GitLab, Docker, Ansible, Terraform, Jenkins 等 ●データウェアハウスツール:SnowFlake、Databricks ●言語:Python, SQL ●データ分析・AIライブラリ:numpy, scipy, scikit-learn, Jupyter Notebook, PyTorch)

レバレジーズ株式会社

●詳細 弊社が運営する全サービスのデータを全社横断的に管理・運用し、データ活用を推進するためのデータ基盤構築・運用を担っていただきます。 〈具体的な業務内容〉 ・Google Cloud上でのデータ活用基盤開発、保守運用 ・ワークフローエンジンを用いたETL処理の開発、保守運用 ・Pythonを用いた業務自動化ツールの開発 ・データ蓄積観点からのデータベース設計およびテーブル設計のレビュー ・データドリブン経営を実現するためのデータマネジメント体制構築 ・Terraformを用いたデータ基盤インフラのIaC化およびインフラ管理 ●扱うデータ ・自社サイトのアクセスログデータ(ビュー、クリック、スクロール) ・顧客の属性データ、顧客の時系列情報 ・自社社員の行動(架電履歴など)データ ・WEB広告(主にgoogle系)の配信成果データ等 ・テキストデータ(QAサイトのデータ、求人票のデータ、経歴データなど) ・音声データ(通話) ●使用技術 ・Google Cloud(BigQuery、GCS、CloudRunFunctions、CloudRun、CloudComposer、Dataform、Dataplex) ・AWS(EC2、ECS、Lambda、S3、RDS、Sagemaker) ・ワークフローエンジン(Airflow) ・Python ・SQL ・Git ・Terraform ・Fivetran ●働く環境 ・私服可 ・作業中イヤホン可 ・ハーマンミラーの椅子 ・メンター制度による中途入社者へのフォロー ●テクノロジー戦略室について 高度な技術を持って、全社の技術戦略を策定、推進し、全社の技術力向上を目指す部署です。文化作り、全社基盤開発、全社サポートなど全社に影響する開発、活動を行っています。 ◇SREチーム インフラ、運用、パフォーマンスチューニング、アーキテクチャー設計などのサポートを全社のチームに行いつつ、SRE文化を浸透させているチームです。 ◇AI/MLエンジニアリングチーム データサイエンティストとビジネスだけで機械学習を活用できるようにするためのプラットフォームを開発したり、GenerativeAIの業務やサービスへ応用を推進するチームです。機械学習の知識、バックエンドの知識、ビジネス知識などを広く持ち、弊社の全社のビジネスをより効率的、効果的にするために日々奮闘しています。 ◇データエンジニアリンググループ 利用者が1000人を超える全社のデータ活用基盤を構築しているチームです。データドリブン経営や事業推進を実現するために、エンジニアリング領域で必要なことは全て担っています。システムインフラだけでなく、データをより活用しやすい環境にするためのデータマネジメント推進も行っています。

パーソルクロステクノロジー株式会社

●業務概要 パーソルグループ企業もしくは提携企業にて顧客や社内の部門に対して、お客様が保有する様々なデータを活用可能な形に処理し、データ分析のための基盤構築をお任せします。 データサイエンティスト/アナリストが行う仕事の基盤をつくり、お客様が抱える課題を解決まで導く業務となります。 ●業務詳細 ・データ収集・連携 　└外部SaaS/業務システムなど異なるソースからのデータ取り込み 　└バッチ開発やストリーミング処理 ・データ基盤の設計・構築・運用 　└DWH・DB・テーブルの設計(SQL、スキーマ、パーティショニング) 　└クラウドインフラの構築(AWS/GCP/Azure)、セキュリティ・ネットワーク設定、コスト最適化 ・データ整備・品質管理 　└ETL/ELTパイプラインの実装(dbt、Apache Kafka、Apache Spark) 　└データモデリング(スタースキーマ・Snowflake)、メタデータ管理、データカタログ整備 ・データ品質監視 　└検査ルール、データガバナンスの設定 　└アラート対応、テスト設計 ・提供・可視化支援 　└分析用マートの提供、BIツールへの接続最適化・可視化(Looker、Tableau、Power BI) ・運用・信頼性 　└パイプラインの監視・障害対応・パフォーマンスチューニング 　└Gitによる変更管理 プロジェクト例 ●Databricksを用いたデータ基盤の設計構築 <業務内容> 　・Databricks上のデータ基盤の設計/構築/検証 　・SAPのテーブルをDatabricksに連携 　・S3のテーブルをDatabricksに連携 　・ストリーミングテーブルの実装、ジョブ作成 <技術> 　Databricks, PySpark, SparkSQL, PowerBI, Git ●dbtを用いたETL、データパイプライン構築 <業務内容> 　・データパイプライン構築、フロー図作成 　・Bigqueryからのデータ抽出、データマートの設計・開発 　・ワークフローの監視 　・バッチ処理開発・運用 　・Tableauダッシュボードの設計・構築・運用 <技術> 　GCP(Bigquery,GCS), dbt, Tableau, Git