استخدام کارشناس مهندسی داده (Data Engineer)
شرح موقعیت شغلی
شرح شغل:
مسئولیت اصلی مهندس داده مذکور، پشتیبانی، نگهداری و توسعه سیستم های کلان داده و همچنین همکاری با سایر اعضای گروه هوش مصنوعی و کلان داده میباشد. خلاصه وظایف به شرح زیر است:
· توسعه ، نگهداری و پشتیبانی زیرساخت های کلان داده
· پیاده سازی خطوط جریان داده بصورت Batch و Stream
· توسعه الگوریتمهای پیشنهادی مرتبط با کلان داده
· بهینه سازی، ارتقاء سرعت و کیفیت برنامههای کلان داده
· کار با انواع داده های غیر ساخت یافته، ساخت یافته و نیمه ساخت یافته
· آماده سازی و ارائه دادههای مورد نیاز
مهارتهای مورد نیاز:
· مسلط به Spark ، Kafka، Hadoop،MapReduce ، Zookeeper
· مسلط به Solr و Elastic Search
· توانایی کار با بانکهای اطلاعاتی RDBMS و NO-SQL
· توانایی کار با انواع Crawler
· سابقه برنامه نویسی با زبانهای Python و Java
· آشنایی با Docker و Kubernetes
· آشنا با AirFlow
· آشنایی با Git
· مسئولیتپذیری
· دارای سابقهکاری مرتبط
مهارتهای مورد نیاز
- Data engineer
- git
- Docker
حداقل سابقه کار
- مهم نیست
جنسیت
- مهم نیست
وضعیت نظام وظیفه
- مهم نیست