استخدام Data Engineer
شرح موقعیت شغلی
ما به دنبال یک مهندس داده ماهر و با انگیزه برای پیوستن به تیم فنی در اکسیر سیستم پویا هستیم. به عنوان یک مهندس داده، شما نقش مهمی در ایجاد و حفظ زیرساخت دادهای ایفا خواهید کرد که از محصولات داده محور ما پشتیبانی می کند. تخصص شما در طراحی، توسعه، و بهینهسازی خطوط پردازش داده، تضمین جریان یکپارچه دادهها از منابع مختلف به انبارهای داده و پلتفرمهای تجزیه و تحلیل ما مفید خواهد بود.
مسئولیت ها:
- برای درک نیازهای دادهها و طراحی راهحلهای داده کارآمد، با تیمهای همکار، از جمله تحلیلگران، و مهندسان نرمافزار همکاری کنید.
- توسعه و نگهداری data pipeline های مقیاس پذیر و قابل اعتماد برای فرآیندهای ETL و ادغام داده ها از منابع مختلف در data warehouse و data lake.
- طراحی و پیادهسازی مدلها و schema دادهای که ذخیرهسازی کارآمد، query و تجزیه و تحلیل دادهها را تسهیل میکند.
- پردازش داده ها و عملکرد pipeline ها را برای اطمینان از در دسترس بودن به موقع و دقیق داده ها برای تجزیه و تحلیل و گزارش بهینه کنید.
- پایش و عیب یابی data pipeline برای شناسایی و حل مشکلات به موقع
- در جریان روندهای صنعت و بهترین شیوه ها در مهندسی داده باشید و با ایده های نوآورانه برای بهبود زیرساخت ها و فرآیندهای داده همکاری کنید.
- همکاری در ارزیابی و پیاده سازی ابزارها و فناوری های جدید که گردش کار مهندسی داده را بهبود می بخشد.
- فرآیندها، pipeline ها و گردش کار را برای اطمینان از درک واضح و اشتراک دانش بین اعضای تیم مستند کنید.
قابلیتها و شایستگیهای لازم :
- تجربه موفق به عنوان مهندس داده یا نقش مشابه، با درک قوی از یکپارچه سازی داده ها، فرآیندهای ETL، و data warehouse.
- تجربه عملی با ابزارهای مدیریت Data pipeline بخصوص Apache NiFi (یا Apache Airflow و موارد مشابه).
- تسلط به زبان های برنامه نویسی مانند پایتون، یا #C
- درک کامل از سیستم های پایگاه داده، هر دو رابطه ای (مانند MS-SQL) و NoSQL (مانند MongoDB )
- آشنایی با مفاهیم و تکنیک های مدل سازی داده ها.
- مهارت های حل مسئله قوی و توجه به جزئیات، با توانایی تشخیص و حل مسائل در محیط های داده پیچیده.
مهارتهای مورد نیاز
- Data engineer
- SQL
- C#
- NoSQL
حداقل سابقه کار
- سه تا شش سال
جنسیت
- مهم نیست
وضعیت نظام وظیفه
- مهم نیست