مسئولیتها
• همکاری نزدیک با اعضای تیم داده و سایر تیمها برای طراحی و پیادهسازی پایپلاینهای دادهای مقیاسپذیر
• ساخت، نگهداری و بهینهسازی جریانهای پردازش داده با استفاده از Kafka، Spark (Scala/Python) و ClickHouse
• اطمینان از کیفیت، صحت و در دسترس بودن دادهها در پلتفرمهای مختلف داده
• توسعه و مدیریت مدلهای داده و راهکارهای ذخیرهسازی که از کاربردهای تحلیلی و محصولی پشتیبانی کنند
• خودکارسازی فرآیندهای ورود، تبدیل و تحویل دادهها
• نظارت و بهبود عملکرد پایپلاینها و کوئریها در ClickHouse و سایر سیستمها
• همکاری با تحلیلگران، دانشمندان داده و تیمهای محصول برای ایجاد امکان تحلیل سلفسرویس
• مشارکت در ارتقای معماری پلتفرم دادهی Azki با هدف تضمین مقیاسپذیری، امنیت و قابلیت اطمینان
مهارتهای مورد نیاز
• حداقل ۵ سال تجربه مرتبط در مهندسی داده یا زیرساخت بکاند داده
• مهارت قوی در SQL و تجربه کار با دیتابیسهایی مانند MySQL و ClickHouse
• تجربه عملی با سیستمهای پردازش جریانی و Batch مانند Kafka و Spark
• تسلط بر Scala و Python برای توسعه پایپلاینهای داده
• درک محکم از مدلسازی داده، فرآیندهای ETL و مفاهیم انبار داده
• تجربه با ارکستریشن جریان کار و کنترل نسخه (مانند Airflow، GitLab)
• مهارت عالی در حل مسئله و توانایی طراحی و پیادهسازی راهکارهای دادهای مقاوم و مقیاسپذیر
• توانایی ارتباط مؤثر و کار تیمی در همکاری با تیمهای بینوظیفهای
• تسلط بالا در محیطهای لینوکسی، شامل اسکریپتنویسی شل، مانیتورینگ سیستم و رفع اشکال
• تجربه عملی با Docker برای کانتینرسازی و استقرار سرویسهای داده