استخدام Big Data Engineer
شرح موقعیت شغلی
شرکت رایداد بهعنوان یکی از مجموعههای پیشرو در حوزه تحلیل و مدیریت داده، بر آن است تا از قدرت دادهها برای ارائه راهکارهای پیشرفته و هوشمند بهره گیرد. ما به دنبال افراد حرفهای، با انگیزه و متعهد هستیم که بتوانند در کنار ما، از دادهها برای خلق ارزشهای عملی استفاده کنند.
اگر از چالشهای پیچیده مهندسی داده لذت میبرید، به دنبال ساخت زیرساختهای داده نوآورانه هستید و میخواهید با ایجاد پایپلاینهای قدرتمند، تحول آفرین باشید، جای شما در تیم رایداد خالی است!
مسئولیتها:
- طراحی، ساخت و نگهداری پایپلاینهای داده مقیاسپذیر و مطمئن برای دریافت، تبدیل و ذخیرهسازی حجم عظیمی از دادهها
- طراحی، پیادهسازی و نگهداری پایپلاینهای داده مقیاسپذیر، fault-tolerant و با قابلیت اطمینان بالا برای ingestion، transformation و persistence حجم عظیمی از دادهها در مقیاس کلان
- توسعه و مدیریت Data Warehouse و Data Lake برای تسهیل دسترسی و تحلیل دادهها به صورت batch و stream processing
- همکاری نزدیک با Data Analysts و Data Scientists برای درک نیازمندیهای دادهای آنها و فراهم کردن مجموعه دادهها و ابزارهای مورد نیاز
- نظارت و بهینهسازی عملکرد سیستمهای داده برای اطمینان از پردازش داده کارآمد و قابل اطمینان
- توسعه و تنظیم پایپلاینهای داده با استفاده از فناوریهایی مانند Apache Kafka، Apache Spark، Apache Airflow، HDFS، ClickHouse و Hive
مهارتهای مورد نیاز:
- مهارتهای قوی برنامهنویسی با زبان Python
- تجربه کار با فریمورکهای پردازش دادههای حجیم (مانند Hadoop، Spark)
- تسلط بر SQL و تجربه کار عمیق با پایگاههای داده رابطهای و غیررابطهای مانند ClickHouse و StarRocks
- آشنایی با مفاهیم هوش مصنوعی و یادگیری ماشین
- مهارتهای عالی حل مسئله و تحلیل
- مهارتهای قوی ارتباطی و توانایی کار تیمی
مهارتهای مورد نیاز
- Big Data
- Python
- SQL
حداقل سابقه کار
- سه تا شش سال
جنسیت
- مهم نیست
وضعیت نظام وظیفه
- مهم نیست