:fill(transparent):format(png)/https://mstorage2.jobinjacdn.com/other/files/uploads/images/57d27eb8-bcdb-4d1b-b9d8-61dc1f28dd2a/main.png)
دیجی‌پی | Digipay
استخدام Senior Data Engineer
-
دسته‌بندی شغلی
-
موقعیت مکانی
-
نوع همکاری
-
حداقل سابقه کار
-
حقوق
شرح موقعیت شغلی
We are seeking a Data Engineer (Senior) to develop data pipelines, support our ML feature engineering workflows, and contribute to the ongoing evolution of our data lake house based on Iceberg, MinIO, Spark and Trino and SQL databases. You will work closely with senior engineers, ML engineers, and data scientists and analysts to deliver reliable, well-tested data flows.
Responsibilities:
• Develop ETL/ELT pipelines using Apache Airflow and Spark integrating MySQL, MongoDB, PostgreSQL and ClickHouse into Iceberg.
• Build and maintain ingestion scripts and feature extraction jobs using Python, Spark, and SQL.
• Build real-time data pipelines using Kafka, Spark streaming and Flink
• Maintain data assets stored in MinIO and queried via Trino.
• Contribute to the design and improvement of data Lakehouse domains and staging layers.
• Collaborate with ML engineers to prepare feature sets for ML models.
• Help maintain FastAPI-based ML model serving pipelines (I/O schemas, data validation, transformations).
• Implement data quality tests, anomaly monitoring, and automated alerts.
• Have experience with data cataloging and lineage management
• Participate in code reviews, write documentation, and support platform reliability.
• Troubleshoot production issues related to data ingestion, storage, or compute.
Requirements:
• 3–5 years of experience in Data Engineering or related roles.
• Strong Spark and Kafka experience
• Good SQL knowledge; ability to work with PostgreSQL, MySQL and SQL Server.
• Experience working with Airflow DAGs
• Understanding of object storage (S3/MinIO) and data lake concepts.
• Familiarity with data modeling, staging layers, and transformation patterns.
• Knowledge of Iceberg/Delta/Parquet-based workflows (nice to have).
• Strong analytical mindset and willingness to learn distributed systems.
Responsibilities:
• Develop ETL/ELT pipelines using Apache Airflow and Spark integrating MySQL, MongoDB, PostgreSQL and ClickHouse into Iceberg.
• Build and maintain ingestion scripts and feature extraction jobs using Python, Spark, and SQL.
• Build real-time data pipelines using Kafka, Spark streaming and Flink
• Maintain data assets stored in MinIO and queried via Trino.
• Contribute to the design and improvement of data Lakehouse domains and staging layers.
• Collaborate with ML engineers to prepare feature sets for ML models.
• Help maintain FastAPI-based ML model serving pipelines (I/O schemas, data validation, transformations).
• Implement data quality tests, anomaly monitoring, and automated alerts.
• Have experience with data cataloging and lineage management
• Participate in code reviews, write documentation, and support platform reliability.
• Troubleshoot production issues related to data ingestion, storage, or compute.
Requirements:
• 3–5 years of experience in Data Engineering or related roles.
• Strong Spark and Kafka experience
• Good SQL knowledge; ability to work with PostgreSQL, MySQL and SQL Server.
• Experience working with Airflow DAGs
• Understanding of object storage (S3/MinIO) and data lake concepts.
• Familiarity with data modeling, staging layers, and transformation patterns.
• Knowledge of Iceberg/Delta/Parquet-based workflows (nice to have).
• Strong analytical mindset and willingness to learn distributed systems.
معرفی شرکت
دیجی‌پی یک استارتاپ جوان در حوزه پرداخت الکترونیک با مجوز پرداخت‌یاری است که حاصل ادغام استارتاپ هُماپی در هلدینگ دیجی‌کالا است.
دیجی‌پی در سال ۱۳۹۷ عضوی از خانواده دیجی‌کالا شد. هدف گروه دیجی‌کالا از ورود به حوزه فینتک، ارائه سرویس‌های پرداخت الکترونیک با پایداری بالا و بهترین تجربه برای مشتری بود. به دنبال تعریف این هدف، مسیر توسعه سرویس‌های دیجی‌پی مشخص شد.
محصولات شرکت:
-(Smart IPG) درگاه پرداخت هوشمند اینترنتی
-(Refund) بازگشت وجه به مشتری
-(Payout) پرداخت وجه با کیف پول تجاری
-اپلیکیشن موبایل دیجی‌پی
-(Smart Dashboard) داشبورد هوشمند
-کیف پول خرید اقساطی
دیجی‌پی در سال ۱۳۹۷ عضوی از خانواده دیجی‌کالا شد. هدف گروه دیجی‌کالا از ورود به حوزه فینتک، ارائه سرویس‌های پرداخت الکترونیک با پایداری بالا و بهترین تجربه برای مشتری بود. به دنبال تعریف این هدف، مسیر توسعه سرویس‌های دیجی‌پی مشخص شد.
محصولات شرکت:
-(Smart IPG) درگاه پرداخت هوشمند اینترنتی
-(Refund) بازگشت وجه به مشتری
-(Payout) پرداخت وجه با کیف پول تجاری
-اپلیکیشن موبایل دیجی‌پی
-(Smart Dashboard) داشبورد هوشمند
-کیف پول خرید اقساطی
-
مهارت‌های مورد نیاز
-
جنسیت
-
وضعیت نظام وظیفه
-
حداقل مدرک تحصیلی
این آگهی منقضی
شده است
مشاغل مشابه
-
:fill(white):format(jpeg)/https://mstorage2.jobinjacdn.com/other/files/uploads/images/5f411b70-b01f-4401-93a4-e153e66ca6e6/main.jpg)
کارشناس سئو (SEO) (۶ روز پیش)
-
:fill(white):format(jpeg)/https://mstorage2.jobinjacdn.com/other/files/uploads/images/8b038242-e7d3-4082-a4db-5195128daee7/main.jpg)
Senior Data Engineer (۲ روز پیش)
-
:fill(transparent):format(png)/https://mstorage2.jobinjacdn.com/other/files/uploads/images/9557cc87-77ca-488d-856a-0398a2fa92b9/main.png)
Senior Data Engineer (۲۰ روز پیش)
-
:fill(transparent):format(png)/https://mstorage2.jobinjacdn.com/other/files/uploads/images/35680f56-2a5d-4a8f-a2b6-e89fbdde723c/main.png)
Senior Data Engineer (۲۵ روز پیش)
-
:fill(transparent):format(png)/https://mstorage2.jobinjacdn.com/other/files/uploads/images/8b7934dc-6266-4d64-934d-7d3a72c0d18a/main.png)
Data Engineer (۴۵ روز پیش)
-
:fill(transparent):format(png)/https://mstorage2.jobinjacdn.com/other/files/uploads/images/f9dcc49d-7611-4624-8ae6-42a404517865/main.png)
Senior Data Analytics (۳۷ روز پیش)
چه موردی را می‌خواهید گزارش کنید؟
از اینجا شروع کنید
این آگهی منقضی شده است
در شغل بهتری استخدام شوید! رایگان!
- جستجو و ارسال رزومه به آگهی‌های استخدام بیش از ۱۰۰,۰۰۰ شرکت ایرانی
- رزومه‌ساز رایگان
- دریافت فرصت‌های شغلی جدید مرتبط از طریق ایمیل (Job Alert)
- شناخت محیط کار و فرهنگ سازمانی شرکت‌های در حال استخدام