استخدام مهندس دیتا
شرح موقعیت شغلی
دانش و مهارت فنی مورد نیاز :
آشنا به چرخه مهندسی داده و ایجاد آن
مسلط به کار با اکوسیستم Hadoop و مدیریت کلاستر (HDFS, Yarn, Impala)
مسلط به توسعه برنامه Apache Spark(Pyspark, Spark SQL)
آشنا با ایجاد و توسعه پایپ لاین ها با ابزار Airflow
آشنا با ابزارهای Apache Kafka و NiFi
****************************************************************
مهارتهای فردی مورد نیاز :
مهارت تحلیل نیاز
مهارت حل مساله
مهارت کار تیمی
ایده پردازی
پیگیری مستمر و نتیجه گیری
نظم کاری و تعهد به زمانبندی ارائه شده
**********************************************************
شرح وظایف :
راه اندازی، پیکربندی و نگهداری از کلاستر مدیریت داده مبتنی بر اکوسیستم Hadoop
توسعه برنامه های تحلیلی بانک با استفاده از ابزار Spark و Impala
توسعه و ایجاد پایپ لاین های داده با استفاده از ابزار Apache Airflow
آشنا به چرخه مهندسی داده و ایجاد آن
مسلط به کار با اکوسیستم Hadoop و مدیریت کلاستر (HDFS, Yarn, Impala)
مسلط به توسعه برنامه Apache Spark(Pyspark, Spark SQL)
آشنا با ایجاد و توسعه پایپ لاین ها با ابزار Airflow
آشنا با ابزارهای Apache Kafka و NiFi
****************************************************************
مهارتهای فردی مورد نیاز :
مهارت تحلیل نیاز
مهارت حل مساله
مهارت کار تیمی
ایده پردازی
پیگیری مستمر و نتیجه گیری
نظم کاری و تعهد به زمانبندی ارائه شده
**********************************************************
شرح وظایف :
راه اندازی، پیکربندی و نگهداری از کلاستر مدیریت داده مبتنی بر اکوسیستم Hadoop
توسعه برنامه های تحلیلی بانک با استفاده از ابزار Spark و Impala
توسعه و ایجاد پایپ لاین های داده با استفاده از ابزار Apache Airflow
مهارتهای مورد نیاز
- Hadoop
- SQL
- kafka
حداقل سابقه کار
- سه تا شش سال
جنسیت
- مهم نیست
وضعیت نظام وظیفه
- مهم نیست