- Design and implement distributed data processing pipelines using Spark (RDD, DataFrame, Datasets, Streaming) - Programming in Core python. Understanding of object-oriented design principles. - Design and implement end to end solution.
Requirements
- Experience working with open source NOSQL technologies such as Cassandra, MongoDB, Redis - Familiar with RDBMS, ETL and Data warehouse technologies. - Experience in engineering data pipelines using Big Data technologies such as Kafka, NiFi, Logstash and etc. - Experience in building Elastic Cluster and Elasticsearch index configuration options, sharding, sharing, partitioning, aliases, watchers, etc
معرفی شرکت
شرکت دانش بنیان "لایف وب" کار خودش رو از سال 1389 شروع کرده و ارائه دهنده خدمات سامانه هوشمند تحلیل داده و موتور جستجوی فضای آنلاین (سوشال لیسینینگ) هست.
لایفوب کلان دادهٔ شبکههای اجتماعی، وبسایتها و رسانههای چاپی و … را جمع آوری میکند و با پردازش مبتنی با هوش مصنوعی، امکان تحلیل کمی و کیفی دادهها را برای مشتریان خود فراهم میکند.