- Build reliable data pipeline to apply data science team alogirthms on input data using Apache Spark and Airflow - Maintain and improve big data infrastructure according to requirements - Design and implement state-of-the-art solutions to improve services quality - Work closely with data science and DevOps teams - Design and implement end to end solution
Qualifications
- 3+ years of industry experience in computer engineering/science - Excellent experience with Python programming language - Good experience with distributed processing using Hadoop and Apache Spark - Good experience with ETL tools including Airflow or Nifi - Familiar with stream prcessing engines including Apache Spark, Flink, Kafka - Familiar with NoSQL technologies such as Cassandra, MongoDB, Redis
معرفی شرکت
شرکت دانش بنیان "لایف وب" کار خودش رو از سال 1389 شروع کرده و ارائه دهنده خدمات سامانه هوشمند تحلیل داده و موتور جستجوی فضای آنلاین (سوشال لیسینینگ) هست.
لایفوب کلان دادهٔ شبکههای اجتماعی، وبسایتها و رسانههای چاپی و … را جمع آوری میکند و با پردازش مبتنی با هوش مصنوعی، امکان تحلیل کمی و کیفی دادهها را برای مشتریان خود فراهم میکند.