As a data engineer you need to design and build systems for collecting, storing, and analyzing data at scale. Here, we are using modern and lesser-known tools, software and libraries, so you need to be open to learning and flexible enough to catch up.
Responsibilities:
Designing and building systems for collecting, storing, and analyzing data at scale
Acquire datasets that align with business needs
Collecting data from different data sources, including XML files, JSON files, REST APIs, NBI, etc.
Develop algorithms to transform data into useful, actionable information
Build, test, and maintain ETL/ELT pipeline architectures
Collaborate with management to understand company objectives
Create new data validation methods and data analysis tools
Ensure compliance with data governance and security policies
General Skills:
Python
Debian based Linux distros
Git
Docker
Docker-Compose
Coding best practices
Experienced with code reviews and pull request.
English language proficiency
Special Skills:
Python data wrangling libraries (pandas, numpy, etc.)
Python multi-tasking paradigms and libraries
Python ORM specially SQLAlchemy
PostgreSQL
Apache Airflow
NoSQL databases (experience with at least one column-based DB is required)
Additional Skills:
Experience managing and working with Clickhouse is a big plus.
Experience with at least one graph database is a plus.
معرفی شرکت
ما در مهیمن از سال ۱۳۸۹ گرد هم جمع شدهایم تا فنـاوری را توسعه داده و با کمــک آن راهکار بسازیم. فناوریهای نوآورانه شرکت مهیمن از دلایدههای بزرگ دانشجویان و متخصصانی برخاسته است که دست در دست هم، رشد کرده و با بهرهگیری از تکنولوژی، رویاهایشان را به حقیقت تبدیل کردهاند. بزرگترین دارایی ما در مهیمن، تیمی جوان و سرشار از انرژی است که از هر فرصتی برای رشد و توسعه خود و سازمان استفاده کرده و به دنبال پیشرفت مستمر هستند.
مفتخریم که امروز، محصولات فناورانه مهیمن، در مجموعههای بزرگ کشور به کار گرفته شدهاند تا مسائلی را حل کنند که در گذشته تصور یافتن راهکار با دانش بومی برای آنها وجود نداشت.
اگر شما نیز به دنبال رشد و یادگیری در محیطی دوستانه، امن و پویا در کنار همکاران جوان و با استعداد هستید، ما در مهمین منتظر شما هستیم تا با هم بیاموزیم، رشد کنیم و اثری ماندگار به جا بگذاریم. مهمین میتواند با افتخار نقطه شروع مسیر شکوفایی شما باشد…