استخدام Data Engineer
شرح موقعیت شغلی
ما در تیم پلتفرم داده به دنبال جذب سرمایه انسانی با استعداد برای بهبود و گسترش زیرساخت دادهای کارگزاری مفید هستیم. شما به عنوان یک مهندس داده از طریق تعامل با تیمهای تحلیل، ایجاد راه حلهای داده محور و تصمیم گیری های مبتنی بر داده در بخش های مختلف، سازمان را پشتیبانی خواهید کرد.
شرح وظایف و مسئولیتها:
- شناخت منابع داده متنوع در داخل و خارج از سازمان
- بررسی منابع داده جدید و همکاری با تیم های مختلف سازمان، به منظور طراحی پایپ لاین های داده جدید برای توسعه Data Warehouse
- نگهداری، بهبود عملکرد و بهینه سازی ETLهای توسعه داده شده
- پاسخ به نیازهای دادهای و عملیاتی تیمهای تحلیل
- توسعه محصولات داده محور
- مستندسازی پایپ لاینهای داده
- نگهداری، ایجاد و توسعه زیرساخت های نرم افزاری پلتفرم داده
شرایط احراز:
- تسلط بر SQL و آشنایی با دیتابیسهای رابطه ای به خصوص MSSQL
- فهم مفاهیم مهندسی داده و روشهای مدلسازی Data Warehouse، به ویژه Star Schema
- تجربه کار با Git و زبان برنامهنویسی Python با رعایت اصول کدنویسی تمیز
- تجربه توسعه پایپ لاینهای داده و به کار گیری Airflow
- آشنایی با دیتابیس های ستونی به خصوص ClickHouse
- تجربه کار با REST API
دارا بودن ویژگیهای زیر مزیت محسوب خواهد شد:
- آشنایی با دیتابیس های NoSQL به خصوص MongoDB
- تجربه نگهداری و کار با Kafka و Debezium
- فهم مفاهیم Containers & Orchestrations (Docker, Kubernetes)
- آشنایی با مفاهیم آزمون نرم افزار
- آشنایی با مفاهیم فرآیندهای یکپارچهسازی و انتشار مداوم (CI/CD)
- تجربه کار با Spark
مهارتهای مورد نیاز
- Python
- SQL
- Data engineer
حداقل سابقه کار
- کمتر از سه سال
جنسیت
- مهم نیست
وضعیت نظام وظیفه
- معافیت تحصیلی معافیت دائم پایان خدمت