Description: Join our Data Crawling Team and focus on acquiring data at scale. You’ll design and maintain crawlers, parsing logic, and backend services that power large-scale web data collection. The role is Python-focused, hands-on with crawling technologies, and ideal for developers who enjoy solving challenges in extraction, automation, and backend system design.
Responsibilities:
Develop and maintain scalable data crawlers and backend services.
Build stable, reusable, and efficient data pipelines.
Optimize and refactor existing systems for performance and reliability.
Research and prototype new crawling methods, parsing techniques, and pipeline designs.
Core Requirements:
Strong Python skills (OOP, scripting, libraries).
Solid programming fundamentals and debugging ability.
Familiarity with databases (SQL/NoSQL: PostgreSQL, MySQL, Redis).
Knowledge of scraping frameworks/tools (Scrapy, Selenium, Playwright).
Understanding of data parsing libraries (BeautifulSoup, lxml, PyQuery, etc).
Experience with version control (Git), Linux and Docker
Preferred (Plus):
Familiare with message brokers (Kafka, RabbitMQ).
Knowledge of concurrency, parallelism, and scalable system design.
Understanding of SQL, ETL pipelines, and big data concepts.
ما اکنون در عصر «اگزابایت» زندگی میکنیم، جایی که در آن هر روز حدود ۲.۵ اگزابایت داده تولید میشود. شاید همیشه اندیشیدهایم حجم بالاتر داده، با خود قدرت بیشتر تحلیل، پیشبینی و حل مساله میآورد؛ با این حال همچنان هر روز به دنبال راه حلی برای چالشهای پایانناپذیر در زندگی اجتماعی، محیطزیست طبیعی، اقتصاد، تحصیل و آموزش و مانند آن میگردیم.
اگزا با بهره گیری از نیروهای متخصص و مجرب در حوزه علوم داده هر آنچه در داده های خود نمی بینید، به شما نشان می دهد. اگزا چشمان شما در میان مه داده هایی است که هر روز و هر لحظه به تعدادشان افزوده می شود. فعالیت اگزا، توسعه مدل های استخراج اطلاعات سودمند از دل حجم عظیم داده های خام است.
محیط کاری پویا، بهروز و پرانگیزه و همچنین فرصت ویژه فراگیری و توسعه شخصی از جمله ویژگیهای بارز اگزا هستند.