data engineer - dispatch.

【Department Overview/ 部署概要】ビジネスサポート開発部で店舗様に提供している（ASPサービス）の一部を担当しています。さらに、プラットフォームを運営するためのビジネススタッフを支える様々なアプリケーションの開発と運用も行っています。私たちのミッションは、店舗様が効率的にビジネスを展開できるよう、最先端の技術を駆使して高品質なサービスを提供することです。ECビジネスデータアナリティクス&プラットフォーム課では、プラットフォームの巨大なトランザクションデータを支えるデータ基盤を構築しています。出店ショップ数5万、商品数3億、年間流通額3兆円超という膨大なデータを扱い、データのハブとしてビジネスの意思決定やデータ活用をサポートしています。また、大型イベントにおける日本最大級のトラフィックデータを処理し、安定的なシステム提供とサービス品質の継続的な向上に努めています。【Position Outline/ 依頼概要】プラットフォームは、出店している店舗様向け（B2B）およびコンシューマ向け（B2C）サービスの拡充を目指し、新たなメンバーを募集しています。Google Cloud Platformをデータ・ストレージとして活用し、Python、Spark、Kafkaを駆使してデータを効率的に格納・処理しています。今回の募集は、巨大なプラットフォームのトランザクションデータを扱うデータパイプラインの拡張と最適化を担うデータエンジニアを対象としています。このポジションは、楽天市場における重要な意思決定を支えるデータを提供し、ビジネスの成長とサービスの向上に直結する非常に重要な役割を果たします。経験豊富なリードソフトウェアエンジニアを求めています。理想的な候補者は、ビッグデータ技術、クラウドプラットフォーム、データ移行に強いバックグラウンドを持ち、チームをリードし、プロジェクトを管理し、運用効率とコスト削減を推進する高品質なソリューションを提供する能力を持つ方です。【Responsibilities/ 担当業務】・Spark、Kafka、Spark-Streaming、Google Cloud Platformなどのデータ処理フレームワークやテクノロジーを用いて、大規模なバッチデータパイプラインを構築を行い、データパイプラインを活用して、プラットフォームのガイドラインに沿ったデータチェック、顧客獲得、その他の主要なビジネスパフォーマンス指標についての重要な意思決定データの提供を行います・データパイプライン管理：大規模なeコマースプラットフォームのデータパイプラインを構築・維持・自動化：データ取り込みプロセスを自動化し、手動データ処理を削減・クラウド移行：オンプレミスのデータインフラをGoogle Cloud Platformに移行・アプリケーション管理：大量のデータを取り込み・処理するプラットフォーム上のアプリケーションを管理・複雑なデータストレージおよび取得問題の解決：ビッグデータパイプラインにおける複雑なデータストレージおよび取得問題を解決し、明確に説明します・本番環境でのアプリケーションのデバッグと保守：ロギング、アラート、モニタリングツールを使用して本番環境でのアプリケーションをデバッグおよび保守します・チームおよびクロスチームメンバーとの効果的なコラボレーション：他のチームおよびクロスチームメンバーと効果的に協力します・チームリーダーシップ：ソフトウェアエンジニアのチームをリードし、プロジェクト目標を達成希望スキル:・ビッグデータを活用した開発経験・データベースの運用経験、最適なパフォーマンスチューニングの経験・Docker、Kubernetesなどのインフラマネージメントの経験​ ・DevOps／Micro service アーキテクチャに対する深い理解と経験​ ・Jenkinsもしくはその他のCI技術を使った運用経験 ​ ・Scrum／Agile開発経験​ ・Looker セマンティックレイヤーの開発経験・チームリーダーシップ: ソフトウェアエンジニアリングチームをリードし、指導した経験

求められる経験
必須スキル：
・Spark、Kafkaアプリケーション開発、運用経験

・PythonまたはJava／Scalaでの開発経験

・5年以上のデータエンジニア経験

・Google Cloud PlatformやBigQueryの開発、運用経験

・SQLに関する高度な知識とリレーショナル データベースの経験

・データパイプライン、データセットの構築とパフォーマンス最適化の経験

・Docker、Kubernetesなどのインフラマネージメントの経験​

・データモデリングの経験

・Linuxでの開発経験

・データ分析：データ処理と変換のための強力な分析スキル

・プロジェクト管理：プロジェクトを管理し、高品質なソリューションを提供する能力

・日本語の読み書き、会話（ビジネスレベル）が出来ること

保険
健康保険　厚生年金保険　雇用保険

休日休暇
祝日

給与
年収600 ～ 800万円

賞与
0
雇用期間
期間の定めなし