ما به دنبال یک برنامهنویس حرفهای و باتجربه در زبان Python هستیم که توانایی طراحی و پیادهسازی خزندههای پیشرفته (crawler) برای استخراج داده از وبسایتهای مختلف را داشته باشد. فرد مورد نظر باید توانایی دور زدن سیستمهای ضد اسکرپ (نظیر Cloudflare، کپچا، Bot Protection و ...) را داشته باشد و بتواند دادههای جمعآوریشده را از طریق API به سرور ما ارسال کند تا توسط تیم پردازش تحلیل شوند.
وظایف:
توسعه کرالر های سریع و بهینه برای جمعآوری داده از وبسایتهای هدف
مدیریت Session، Cookie، Header و سایر پارامترهای ضد اسکرپ
حل یا دور زدن انواع کپچا (reCAPTCHA، hCaptcha و ...)
استفاده از ابزارهای Headless مانند Puppeteer، Playwright یا Selenium در صورت نیاز
ساخت ماژول ارسال دادهها به سرور ما از طریق API (RESTful)
مدیریت خطاها، Retry کردن درخواستها و گزارشگیری دقیق از وضعیت خزندهها
مستندسازی و نگهداری کد
مهارتهای مورد نیاز:
تسلط کامل به زبان Python
آشنایی کامل با کتابخانههایی مانند: requests, aiohttp, httpx, BeautifulSoup, lxml, Scrapy
تجربه کار با ابزارهای Headless مثل: Selenium, Playwright, Puppeteer
توانایی بالا در تحلیل رفتار سایتهای دارای سیستمهای ضد اسکرپ و یافتن راهکارهای دور زدن آنها
تسلط به روشهای حل کپچا (با یا بدون سرویسهای واسطه مثل 2captcha)
تجربه کار با APIهای RESTful (ارسال و دریافت داده)
آشنایی با مفاهیم امنیتی در ارتباط با crawling و اسکریپتنویسی تحت وب
توانایی نوشتن کد تمیز، مستندسازی شده و قابل نگهداری