استخدام Data Engineer
شرح موقعیت شغلی
ما به دنبال یک مهندس دادهی توانمند برای ملحق شدن به تیم مهندسی دادهی بلو هستیم. مسئولیت یک مهندس داده در تیم ما طراحی, پیادهسازی، توسعه(scale)، بهینهسازی و نگهداری انبارها و پایپلاینهای داده و همچنین پردازش های در لحظه برای مصارف تیمهای مختلف در بلوبانک است. کاندیدای ایدهآل برای این موقعیت شغلی فردی با تجربهی کار در گردآوری و نگهداری سیستمهای داده است که از بهینهسازی و طراحی این سیستمها لذت میبرد.
مهندس دادهی بلوبانک به توسعهدهندههای بکاند، دیتا ساینتیستها و تحلیلگران دادهی بلو کمک میکند تا داده به بهترین شکل ممکن به دست آنها برسد.
مسئولیتهای مهندس دادهی بلو
مهندس دادهی بلوبانک به توسعهدهندههای بکاند، دیتا ساینتیستها و تحلیلگران دادهی بلو کمک میکند تا داده به بهترین شکل ممکن به دست آنها برسد.
مسئولیتهای مهندس دادهی بلو
- تحلیل و طراحی, توسعه و نگهداری پایپلاینهای داده
- شناسایی و طراحی پروسههای دستی و تکرار شونده و اتوماتیک کردن آنها توسط ابزارهایی مانند ایرفلو و اسپارک
- طراحی زیرساخت موردنیاز برای ETL بهینه از منابع مختلف داده مانند فایلهای لاگ، دیتابیسهای SQL و NoSQL
- طراحی مبتنی بر مایکروسرویس و event-sourcing برای پردازش جریان های داده
- همکاری با تیمهای مختلف مانند محصول، طراحی و تحلیل دیتا برای ارائهی زیرساختهای لازم
- پیادهسازی کل استک ها با ابزارهای مبتنی بر داکر
- تجربهی کار با ابزارهای پردازش استریم مانند KSQLDB, KSQL, Kafka Streams
تواناییهای موردنیاز:
- دانش عمیق از SQL و زبان برنامه نویسی پایتون، اسکالا یا جاوا
- آشنایی با ابزارهای بیگدیتای Apache
- تجربهی کار با ابزارهایی مانند Hadoop، Spark، Kafka و…
- تجربهی کار با دیتابیسهای SQL و NoSQL (PostgreSQL و MongoDB و ... )
- تجربه کار با ابزار kafka connector برای دیتابیس های SQL و NoSQL (PostgreSQL و MongoDB و ... )
- آشنایی با ابزارهای اتوماسیون مانند Apache Airflow و Apache NiFi
- تجربهی کار با ابزارهای پردازش استریم مانند Kafka Streams
- تواناییهای کار در تیم و آشنایی با متدولوژی Agile
- توانایی طراحی و توسعه زیرساخت و سرویسهای ماشین لرنینگ
مهارت هایی که امتیاز محسوب می شوند:
- تجربه کار با استک کوبر نتیز و اسپارک در کنار هم
- تجربه کار با استک Apache Druid/Hadoop در محیط عملیاتی با حجم زیاد داده
- آشنایی با ابزاری های etl مانند Apache Dril و Presto
مهارتهای مورد نیاز
- kafka
- Scala
- Hadoop
- spark
- SQL
حداقل سابقه کار
- کمتر از سه سال
جنسیت
- مهم نیست
وضعیت نظام وظیفه
- مهم نیست