استخدام Data Engineer

شرح موقعیت شغلی

• طراحی و ساخت پایگاه‌های داده و داده‌خانه‌ها (Data Warehouses / Data Lakes)
• طراحی ساختار داده (schemas)
• بهینه‌سازی ذخیره‌سازی داده برای سرعت و هزینه
• ایجاد و مدیریت جریان داده (Data Pipelines)
• استخراج داده‌ها از منابع مختلف (SQL, NoSQL, API, فایل‌ها)
• تبدیل و پاک‌سازی داده‌ها (ETL/ELT)
• بارگذاری داده‌ها در سیستم هدف (Data Lake, Data Warehouse, Iceberg, BigQuery و غیره)
• مدیریت و نظارت بر کیفیت داده‌ها
• پیاده‌سازی قواعد کیفیت داده (Data Validation, Data Cleaning)
• ایجاد لاگ و مانیتورینگ برای داده‌ها
• یکپارچه‌سازی داده‌ها و آماده‌سازی برای تحلیل
• آماده‌سازی داده‌ها برای تیم‌های BI و تحلیلگران داده
• پشتیبانی از مدل‌های AI/ML با فراهم کردن داده‌های ساخت‌یافته و قابل استفاده
• بهینه‌سازی عملکرد سیستم‌های داده‌ای
• بهبود سرعت پردازش و ذخیره‌سازی داده‌ها
• مدیریت دسترسی و امنیت داده‌ها

• برنامه‌نویسی: Python, SQL, Java/Scala (برای Spark)
• پایگاه داده: Oracle, Sqlserver, mysql

• Data Warehousing / Data Lake: Snowflake, BigQuery, Iceberg, MinIO
• ETL / ELT Tools: Apache Airflow, Talend, dbt, Airbyte

• ابزارهای BI: Superset, Power BI

• Big Data & Distributed Systems: Hadoop, Spark

• تجربه عملی در ساخت Data Pipeline و Data Warehouse
• تجربه کار با داده‌های حجیم و سیستم‌های توزیع‌شده 

مهارت‌های مورد نیاز

• Python
• SQL
• Data engineer
• Big Data

حداقل سابقه کار

• کمتر از سه سال

جنسیت

• مهم نیست

وضعیت نظام وظیفه

• مهم‌ نیست

مشاهده آگهی‌های استخدام مشابه