Data Engineer - Japan'クイーン カジノeading E-Commerce

[Company Details]
One of Japan'クイーン カジノargest and growing e-commerce sites.
Good work life balance + international environment + above-market rate salary

[Location]
Hybrid, 2 days from the office.
Office iクイーン カジノocated in Minato-ku, Tokyo

[Job Type]
Full-time, permanent

[Salary range]
10 million yen ~ 15 million yen (mid-level to senior)

[Job Content]
•Collecting data from microservices
-Developing batch-based data pipelines
-Developing streaming-based data pipelines
-Developing SDK for logging within microservices

•Data Lake, DWH
-Constructing Data Lakes for storing collected data
-Managing partial permissionクイーン カジノnd resources on DWH

•Data utilization
-Developing tools to support use of data in Data Lakeクイーン カジノnd on DWH
-Developing a platform to provide stream data processing function

•Company-wide
-Improving performance, aiming for low latency/high throughput according to application and middleware development, operation, and requirements
-Developing tools to automate operationクイーン カジノnd/or lower costs
-Identifying and solving technical issues with the system caused by engineering

[会社詳細]
日本最大規模で成長を続けるeコマースサイトのひとつ。
ワークライフバランス良好、国際的な環境、市場価格を上回る給与

[場所]
ハイブリッド、オフィスから2日。
オフィスは東京都港区にあります。

[職種]
フルタイム、正社員

[給与範囲]
1,000万円～1,500万円（中堅～シニア）

[仕事内容]
•マイクロサービスからのデータ収集
-バッチベースのデータパイプラインのクイーン カジノ
-ストリーミングベースのデータパイプラインのクイーン カジノ
-マイクロサービス内でのログ記録用SDKのクイーン カジノ

•データレイク、DWH
-収集したデータを格納するためのデータレイクの構築
-DWH上の部分的な権限とリソースの管理

•データ活用
-データレイクとDWHでのデータの利用を支援するツールのクイーン カジノ
-ストリームデータ処理機能を提供するプラットフォームのクイーン カジノ

•全社
-アプリケーションやミドルウェアのクイーン カジノ、運用、要件に応じて、低レイテンシ/高スループットを目指したパフォーマンスの向上
-運用の自動化やコスト削減のためのツールのクイーン カジノ
-エンジニアリングに起因するシステムの技術的問題の特定と解決

[Required Skills]
•Experience designing, developing, and operating large-scale serviceクイーン カジノnd/or distributed systems

•At least two of the following:
-Experience developing in the cloud with AWS, GCP, etc.
-Experience developing systems utilizing container technologies such as Kubernetes
-Development experience using message queueクイーン カジノike Cloud Pub/Sub and Apache Kafka
-Experience in data processing development using distributed processing frameworkクイーン カジノike Apache Flink and Apache Spark
-Experience with ETL system using workflow engineクイーン カジノike Airflow and Digdag
-Experience designing application logs for large-scale services

[必須スキル]
•経験大規模サービスや分散システムの設計、クイーン カジノ、運用

•以下の 2 つ以上:
-AWS、GCP などを使用したクラウドでのクイーン カジノ経験
-Kubernetes などのコンテナ技術を活用したシステムのクイーン カジノ経験
-Cloud Pub/Sub や Apache Kafka などのメッセージ キューを使用したクイーン カジノ経験
-Apache Flink や Apache Spark などの分散処理フレームワークを使用したデータ処理クイーン カジノの経験
-Airflow や Digdag などのワークフロー エンジンを使用した ETL システムの経験
-大規模サービスのアプリケーション ログの設計経験