معرفی موقعیت شغلی (درباره پروژه)
ما در حال توسعه یک زیرساخت پردازشی درنگناپذیر (Real-time) برای دادههای بازارهای مالی در مقیاس بسیار بالا هستیم. سیستم ما سالانه بیش از ۱۰۰ ترابایت دیتای تیک (Tick Data) و کندلهای معاملاتی را دریافت، پردازش و ذخیره میکند. برای مدیریت، مقیاسپذیری و بهینهسازی این حجم عظیم از داده، به یک «مهندس زیرساخت داده» مجرب نیاز داریم که به اکوسیستم ClickHouse و چالشهای Big Data تسلط عمیق داشته باشد. اگر از کار کردن با حجم عظیمی از داده، بهینهسازی کوئریهای میلیثانیهای و طراحی لایههای ذخیرهسازی توزیعشده لذت میبرید، جای شما در تیم ماست.
شرح وظایف و مسئولیتها
- استقرار، پیکربندی و نگهداری کلاستر ClickHouse برای پردازش سنگین دادههای سری زمانی (Time-Series).
- پیادهسازی و مدیریت معماری Tiered Storage (ترکیب دیسکهای NVMe به عنوان Hot Tier و MinIO/S3 به عنوان Cold Tier).
- اعمال تنظیمات و Tuning در سطح سیستمعامل لینوکس (مدیریت دیسکهای خام با فایلسیستم XFS به صورت JBOD، بهینهسازی Memory و غیرفعال کردن Swap/THP).
- مدیریت چرخه حیات دادهها (Data Lifecycle) با استفاده از پالیسیهای TTL و Background Merges در کلیکهاوس.
- راهاندازی و مدیریت کلاسترهای توزیعشده MinIO (Geo-Distributed) در سرورهای مختلف.
- مدیریت و پیکربندی سیستم Local Caching روی دیسکهای NVMe برای واکشی سریع دادههای سرد.
- همکاری نزدیک با تیم توسعه (Go/Python) جهت طراحی بهینه اسکیماها، استراتژیهای فشردهسازی (Column-level Codecs) و Materialized View ها.
نیازمندیها و مهارتهای تخصصی
- تسلط عمیق به پایگاه داده ClickHouse (آشنایی کامل با موتورهای خانواده MergeTree، ReplacingMergeTree و نحوه کارکرد Materialized View ها).
- تجربه عملی در مدیریت زیرساختهای لینوکسی و System Administration (بهخصوص مباحث مرتبط با I/O دیسکها و RAM).
- تجربه کار با Object Storage ها و استقرار MinIO در محیط پروداکشن (تسلط بر مفاهیم Erasure Coding).
- درک عمیق از مفاهیم پایگاهدادههای تحلیلی (OLAP) و استراتژیهای پارتیشنبندی و فشردهسازی دیتا.
- توانایی مانیتورینگ، عیبیابی (Troubleshooting) و شناسایی گلوگاههای پرفورمنس (Bottlenecks) در دیتابیس و شبکه.
- آشنایی کلی با زبانهای برنامهنویسی Go یا Python (جهت درک تعامل Worker ها با دیتابیس).
مهارتهای امتیازی
- آشنایی با ساختار دادههای بازارهای مالی (تیکدیتا، OHLCV و Order Book).
- تجربه کار با سیستمهای Message Broker (مانند Kafka یا Redis Streams).
مزایای همکاری
- حضور در یک پروژه در کلاس جهانی با چالشهای فنی هیجانانگیز.
- حقوق و مزایای کاملاً رقابتی و متناسب با سطح تخصص.