استخدام Market Data Engineer
شرح موقعیت شغلی
ما به دنبال یک Data Engineer دقیق، تحلیلگر و مسئولیتپذیر هستیم که مسئولیت دریافت، پردازش، پاکسازی، اعتبارسنجی، ذخیرهسازی و نگهداری دادههای مالی و Market Data شرکت را بر عهده بگیرد.
دادههای مورد استفاده شرکت شامل Tick Data، OHLC، Candle Data، Bid/Ask، Spread و دادههای تایمفریمهای مختلف است و کیفیت و صحت این دادهها مستقیماً بر نتایج Backtest، Optimization و تحقیقات Quantitative تأثیر میگذارد.
فرد موردنظر باید بتواند علاوه بر مدیریت Database، مشکلات موجود در داده را شناسایی، ریشهیابی و برطرف کرده و Pipeline های قابل اتکا برای پردازش و بهروزرسانی داده ایجاد کند.
مسئولیتهای اصلی
1. مدیریت Market Data
- دریافت و مدیریت دادههای مالی از منابع مختلف
- مدیریت دادههای Tick و OHLC
- مدیریت دادههای Bid / Ask
- ایجاد و نگهداری دادههای تایمفریمهای مختلف
- یکپارچهسازی دادههای منابع مختلف
- مدیریت Historical Data و دادههای جدید
2. Data Cleaning & Validation
شناسایی و اصلاح مواردی مانند:
- Missing Candles
- Duplicate Records
- Invalid OHLC
- Timestamp Errors
- Outlier Prices
- Gap های غیرطبیعی
- مشکلات Bid/Ask
- اختلاف بین Data Sourceهای مختلف
و ایجاد فرآیندهای خودکار برای کنترل کیفیت داده.
3. Time Series & Time Management
فرد باید درک بسیار خوبی از:
- Timestamp
- Timezone
- UTC
- Server Time
- Daylight Saving Time (DST)
- Candle Alignment
- Resampling
- Market Session
داشته باشد.
توانایی بررسی اختلاف زمانی بین منابع مختلف داده یک مزیت بسیار مهم محسوب میشود.
4. Database Management
- طراحی ساختار مناسب Database برای Market Data
- طراحی Table و Schema
- مدیریت حجم بالای داده
- Backup و Data Recovery
- افزایش سرعت Read/Write
- جلوگیری از Duplicate Data
- مدیریت Data Version
5. Python & Data Processing
استفاده از Python برای:
- Data Processing
- Data Cleaning
- Data Validation
- Automation
- Data Comparison
- Report Generation
کتابخانههای مورد انتظار:
- pandas
- NumPy
- datetime / pytz / zoneinfo
6. Data Quality Monitoring
ایجاد سیستمهایی برای تشخیص خودکار:
Missing Data
Duplicate Data
Time Errors
Price Anomalies
Invalid Candles
Unexpected Gaps
Source Mismatch
و تولید گزارش از وضعیت .Dataset
7. همکاری با تیم Quant و Trading
همکاری مستقیم با تیمهای:
- Strategy Development
- Backtesting
برای اطمینان از اینکه داده مورد استفاده در تحقیقات و تست استراتژی صحیح، Consistent و قابل اعتماد است.
مهارتهای ضروری
Python — Advanced/Intermediate
- pandas
- NumPy
- Data Processing
- File Processing
- Automation
Time Series
- ETL
- Data Cleaning
- Data Validation
- Pipeline Design
Problem Solving
توانایی پیدا کردن Root Cause یک مشکل در داده.
مهارتهای مهم و امتیازی
موارد زیر مزیت محسوب میشوند:
- تجربه با Financial / Market Data
- تجربه با Forex Data
- تجربه با Tick Data
- آشنایی با MetaTrader 4/5
- تجربه با Dukascopy، Swissquote یا سایر Data Providerها
- Git
- تجربه کار با دیتاستهای حجیم
ویژگیهای فردی مورد انتظار
این قسمت برای این موقعیت خیلی مهم است.
دقت بالا
در Market Data یک اشتباه کوچک میتواند نتیجه چند سال Backtest را تغییر دهد.
مسئولیتپذیری
اطمینان از صحت داده باید جزو مسئولیت مستقیم فرد باشد، نه اینکه فقط دستور بگیرد و فایل تولید کند.
مستندسازی
تمام فرآیندهای Data باید مستند باشند تا سیستم به دانش یک نفر وابسته نباشد.
Automation Mindset
اگر کاری مرتب تکرار میشود، انتظار میرود فرد به جای انجام دستی، برای آن Automation ایجاد کند.
مهارتهای مورد نیاز
- مدیریت داده
- git
- database
حداقل سابقه کار
- کمتر از سه سال
جنسیت
- مهم نیست
وضعیت نظام وظیفه
- مهم نیست