استخدام متخصص توسعه کرالر (C#-آقا)
شرح موقعیت شغلی
پرتو یک پلتفرم تحلیل داده است که فهمیدن شبکههای اجتماعی و فضای آنلاین را برای سازمانها، نهادها و کسبوکارهای بزرگ سادهتر میکند. کرالرهای ما هر روز میلیونها رکورد داده از منابع مختلف جمعآوری میکنند — اینستاگرام، تلگرام، وبسایتها، و API های private. دنبال متخصصی هستیم که مالک این لایه شود.
استک فنی
C# / .NET 9 برای اکثر کرالرها. Kafka برای پیامرسانی بین سرویسها. SQL Server و ClickHouse برای ذخیرهی دادهی خام. Kubernetes چندکلاستری برای استقرار.
کاری که انجام میدهی
- طراحی و راهاندازی کرالرهای جدید. برای هر منبع جدید (یک شبکه، یک سایت، یک API)، از معماری و پیادهسازی تا deploy و مانیتورینگ — همه با توست.
- کلنجار با محدودیتهای هر منبع. rate limit، anti-bot، session management، proxy rotation — هر منبع داستان خودش را دارد.
- reverse engineering API های private. وقتی منبع public API ندارد، باید ترافیک شبکه را تحلیل کنی و راه دسترسی پیدا کنی.
- کار در مقیاس بزرگ. یک کرالر سینگلترد که چند ساعت طول میکشد کافی نیست؛ باید روزانه چند برابرِ آن داده جمع شود، بدون افت کیفیت.
- همکاری با تیم داده. خروجی کرالر به پایپلاین تحلیل میرود؛ schema، تمیزی داده و امکان پردازش دوبارهی آن، مسئلههایی است که با تیم داده مشترک حل میکنی.
چی برای ما مهم است
- تجربهی واقعی کرال در حداقل یکی از شبکههای اجتماعی (اینستاگرام، تلگرام، توییتر/X، فیسبوک، تیکتاک، یوتیوب، یا مشابه). نه پروژهی دانشگاهی — کرالری که در production کار کرده باشد.
- تسلط بر یک زبان backend برای کرال — ترجیحاً C# / .NET، اما Python، Go، یا Node.js هم پذیرفته است اگر حاضری به استک ما migrate کنی.
- درک عمیق از HTTP، session، cookie، headers، و رفتار مرورگر.
- آشنایی با تکنیکهای مقابله با anti-bot (proxy، fingerprint، rate management).
- پایداری در حل مسائلی که چندین روز طول میکشد. وقتی کرال خراب میشود، با یک batch چند ساعته روبهرویی که دیباگ کردنش راحت نیست.
خوب است اگر داشته باشی
- تجربهی reverse engineering روی API های موبایل (Frida، MITM، تحلیل protobuf).
- تجربهی کار با Kafka یا message queue های مشابه.
- تجربهی کار با proxy pool، residential IPs، یا horizontal scaling کرالر.
- آشنایی با headless browser ها (Playwright، Puppeteer) — هرچند ترجیح ما کرال در سطح HTTP است نه browser.
چی پیشنهاد میکنیم
- انعطاف کامل: دورکاری، هیبرید، یا حضوری در دفتر تهران. ساعت ورود و خروج نداریم.
- ابزار AI روزانه: Claude Code برای همهی اعضای تیم فراهم میشود.
- چالشهای فنی گسترده: چندین منبع داده با logic های متفاوت، و فشار scale در همهشان.
- بیمهی تکمیلی، سفر سالانهی گروهی، وام دورهای، و امکان امریهی دانشبنیان برای آقایان واجد شرایط.
مهارتهای مورد نیاز
- API
- C#
- .NET
حداقل سابقه کار
- سه تا شش سال
حقوق
- حقوق از ۷۰,۰۰۰,۰۰۰ تومان
جنسیت
- مرد
وضعیت نظام وظیفه
- مهم نیست