Analysis, design, development, and maintenance of data pipelines.
Identify and design manual and repetitive processes and automate them with tools such as Airflow and Spark.
Design the infrastructure required for optimal ETL from various sources of log files, SQL, and NoSQL databases.
Microservice and event-sourcing-based design for data flow processing.
Collaborate with various teams such as product, design, and data analysis to provide the necessary infrastructure.
Implement all stacks with Docker-based tools.
Experience working with stream processing tools such as KSQLDB, KSQL, and Kafka Stream.
Required Abilities
Having in-depth knowledge of SQL and Python, Scala, or Java programming languages.
Familiarity with Apache big data tools.
Experience working with tools like Hadoop, Spark, and Kafka
Experience working with SQL and NoSQL databases (PostgreSQL, MongoDB, etc.).
Experience working with Kafka connector tools for SQL and NoSQL databases.
Familiarity with automation tools such as Apache Airflow and Apache NiFi.
Experience working with stream processing tools such as Kafka Streams.
Having Teamwork skills and familiarity with Agile methodology.
Ability to design and develop ML infrastructure and services.
Advantage skills
Experience working with Kubernetes and Spark stacks together.
Experience working with the Apache Druid / Hadoop stack in operating environments with a large amount of data.
Familiarity with ETL tools such as Apache Drill and Presto.
معرفی شرکت
اسنپ گروپ متشکل از فعالترین شرکتهای اینترنتی (اسنپ، اسنپ فود، اسنپ باکس، اسنپ مارکت، اسنپ تریپ، اسنپ تیکت، اسنپ روم، اسنپ ساپلای، اسنپ دکتر، اسنپ کیچن و اسنپ پی و اسنپ شاپ و اسنپ اکسپرس) در ایران است و عمیقا متعهد به ترویج کارآفرینی و نوآوری در جامعهی آنلاین ایران میباشد.
ماموریت این گروه سرعت بخشیدن به رشد و موفقیت اقتصاد توسعه یافته بر پایهی اینترنت در سراسر کشور و افزایش کیفیت زندگی مردم از طریق ارائهی بهترین خدمات است.
اسنپ گروپ با تشخیص پتانسیل بسیار بالای بازار ایران شرایطی ایده آل برای شرکتهای آنلاین فراهم میکند. در حال حاضر با تمرکز بر توسعه کسب و کارهای مبنتی بر فناوریهای هوشمند در ایران به دنبال خلق ارزشهایی جدید برای نسلهای فرداست.