Data Engineer - Japan'クイーンカジノ おすすめゲームeading E-Commerce

[Company Details]
One of Japan'クイーンカジノ おすすめゲームargest and growing e-commerce sites.
Good work life balance + international environment + above-market rate salary

[Location]
Hybrid, 2 days from the office.
Office iクイーンカジノ おすすめゲームocated in Minato-ku, Tokyo

[Job Type]
Full-time, permanent

[Salary range]
10 million yen ~ 15 million yen (mid-level to senior)

[Job Content]
•Collecting data from microservices
-Developing batch-based data pipelines
-Developing streaming-based data pipelines
-Developing SDK for logging within microservices

•Data Lake, DWH
-Constructing Data Lakes for storing collected data
-Managing partial permissionクイーンカジノ おすすめゲームnd resources on DWH

•Data utilization
-Developing tools to support use of data in Data Lakeクイーンカジノ おすすめゲームnd on DWH
-Developing a platform to provide stream data processing function

•Company-wide
-Improving performance, aiming for low latency/high throughput according to application and middleware development, operation, and requirements
-Developing tools to automate operationクイーンカジノ おすすめゲームnd/or lower costs
-Identifying and solving technical issues with the system caused by engineering

[会社詳細]
日本最大規模で成長を続けるeコマースサイトのひとつ。
ワークライフバランス良好、国際的な環境、市場価格を上回る給与

[場所]
ハイブリッド、オフィスから2日。
オフィスは東京都港区にあります。

[職種]
フルタイム、正社員

[給与範囲]
1,000万円～1,500万円（中堅～シニア）

[仕事内容]
•マイクロサービスからのデータ収集
-バッチベースのデータパイプラインのクイーンカジノ おすすめゲーム
-ストリーミングベースのデータパイプラインのクイーンカジノ おすすめゲーム
-マイクロサービス内でのログ記録用SDKのクイーンカジノ おすすめゲーム

•データレイク、DWH
-収集したデータを格納するためのデータレイクの構築
-DWH上の部分的な権限とリソースの管理

•データ活用
-データレイクとDWHでのデータの利用を支援するツールのクイーンカジノ おすすめゲーム
-ストリームデータ処理機能を提供するプラットフォームのクイーンカジノ おすすめゲーム

•全社
-アプリケーションやミドルウェアのクイーンカジノ おすすめゲーム、運用、要件に応じて、低レイテンシ/高スループットを目指したパフォーマンスの向上
-運用の自動化やコスト削減のためのツールのクイーンカジノ おすすめゲーム
-エンジニアリングに起因するシステムの技術的問題の特定と解決

[Required Skills]
•Experience designing, developing, and operating large-scale serviceクイーンカジノ おすすめゲームnd/or distributed systems

•At least two of the following:
-Experience developing in the cloud with AWS, GCP, etc.
-Experience developing systems utilizing container technologies such as Kubernetes
-Development experience using message queueクイーンカジノ おすすめゲームike Cloud Pub/Sub and Apache Kafka
-Experience in data processing development using distributed processing frameworkクイーンカジノ おすすめゲームike Apache Flink and Apache Spark
-Experience with ETL system using workflow engineクイーンカジノ おすすめゲームike Airflow and Digdag
-Experience designing application logs for large-scale services

[必須スキル]
•経験大規模サービスや分散システムの設計、クイーンカジノ おすすめゲーム、運用

•以下の 2 つ以上:
-AWS、GCP などを使用したクラウドでのクイーンカジノ おすすめゲーム経験
-Kubernetes などのコンテナ技術を活用したシステムのクイーンカジノ おすすめゲーム経験
-Cloud Pub/Sub や Apache Kafka などのメッセージ キューを使用したクイーンカジノ おすすめゲーム経験
-Apache Flink や Apache Spark などの分散処理フレームワークを使用したデータ処理クイーンカジノ おすすめゲームの経験
-Airflow や Digdag などのワークフロー エンジンを使用した ETL システムの経験
-大規模サービスのアプリケーション ログの設計経験