مسئولیت اصلی مهندس داده مذکور، پشتیبانی، نگهداری و توسعه سیستم های کلان داده و همچنین همکاری با سایر اعضای گروه هوش مصنوعی و کلان داده میباشد. خلاصه وظایف به شرح زیر است:
· توسعه ، نگهداری و پشتیبانی زیرساخت های کلان داده
· پیاده سازی خطوط جریان داده بصورت Batch و Stream
· توسعه الگوریتمهای پیشنهادی مرتبط با کلان داده
· بهینه سازی، ارتقاء سرعت و کیفیت برنامههای کلان داده
· کار با انواع داده های غیر ساخت یافته، ساخت یافته و نیمه ساخت یافته
· آماده سازی و ارائه دادههای مورد نیاز
مهارتهای مورد نیاز:
· مسلط به Spark ، Kafka، Hadoop،MapReduce ، Zookeeper
· مسلط به Solr و Elastic Search
· توانایی کار با بانکهای اطلاعاتی RDBMS و NO-SQL
· توانایی کار با انواع Crawler
· سابقه برنامه نویسی با زبانهای Python و Java
· آشنایی با Docker و Kubernetes
· آشنا با AirFlow
· آشنایی با Git
· مسئولیتپذیری
· دارای سابقهکاری مرتبط
معرفی شرکت
مرکز گسترش فناوری اطلاعات ایران (مگفا)، به عنوان یکی از با سابقه ترین و بزرگترین شرکت های فعال در حوزه ICT کشور، تابع سازمان گسترش و نوسازی صنایع ایران به عنوان پیشگام در توسعه حوزههای نوین فناوری اطلاعات و ارتباطات، در بخشهای توسعه نرم افزار و دولت الکترونیکی، خدمات پیام رسانی، توسعه فناوری های جدید شامل اینترنت اشیاء، شهر هوشمند، صنعت هوشمند، بلاک چین، هوش مصنوعی، سیستمهای داده مکانی، تحول دیجیتال و... فعالیت میکند.
خانواده مگفا مشتمل بر 300 پرسنل و 6 شرکت زیر مجموعه با مشارکت بخشهای خصوصی، با ماموریت های زیر اقدام به ارائه خدمات و سرویس های خود مینماید:
• توسعه و اشاعه صنعت فاوا در راستای بهسازی و نوسازی صنایع كشور؛
• ایفای نقش اثربخش در جهانی نمودن صنعت فاوا و توسعه تعاملات بینالمللی؛
• سرمایهگذاری در اجرای طرحهای کلان و ملی حوزه فاوا با اولویت مشارکت و توسعه ظرفیتهای بخش خصوصی؛
• مشارکت و شبکهسازی در ارائه خدمات و محصولات مبتنی بر فناوریهای نوین در حوزه فاوا؛