شناسایی مقاصد احتمالی برای جمع آوری داده های مشخص شده
اجرای Crawler بر روی وبسایتها و منابع مشخص و جمعآوری
استفاده موثر از مانیتورینگ برای رصد فعالیت Crawler ها
پیشپردازش داده و تبدیل آن به فرمت مناسب برای ذخیره سازی و تحلیل
ایجاد و توسعه سرویس های Crawler برای استخراج داده از صفحات وب
پیادهسازی کدهای تمیز، با کیفیت، تست شده و قابل استفاده مجدد در آینده
افزایش نرخ خروجی خزش داده ها
مستندسازی سرویس
مهارتهای مورد نیاز:
حداقل یکسال سابقه توسعه سرویس با پایتون
تسلط کامل بر Git & Source Control
توانایی کار با Rabbitmq (و یا message broker دیگر)
تجربه کار با Docker و نوشتن Dockerfile
مهارت در پردازش متن: توانایی در پردازش و تبدیل دادههای متنی با استفاده از ابزارها و تکنیکهای متنکاوی
تجریه کار با دیتابیس های SQL و NoSQL و ذخیره سازی داده در آن ها
آشنایی اولیه با مفاهیم شبکه
تجربه با ابزارهای Scraper: آشنایی با ابزارها و کتابخانههای مختلف برای جستجو و جمعآوری داده مانند Selenium و BeautifulSoup
توانایی مستندسازی سرویس ها
معرفی شرکت
شرکت دانش بنیان رایداد توسط یک تیم جوان از دانشگاه تهران، در سال ۱۳۹۸ با هدف عمق کاوی هوشمند اطلاعات و توسعه شبکه جاذب داده های آزاد وب متولد شد. با این رهیافت، خدمات رایداد از ابتدا موردتوجه نهادهای عمومی و خصوصی قرار گرفته و هم اکنون اپلیکیشن های جذب و پایش داده و داشبوردهای پیشرفته تحلیلی رایداد در بسیاری از این نهادها مورد استفاده قرار میگیرد.
مزایای کار در رایداد :
بیمه دانش بنیان
تیم جوان و چابک
فضای پیشرفت و ارتقا
انعطاف پذیری ساعت کاری
امکان دور کاری برای نیرو ها
صبحانه روزانه در شرکت
اضافه کاری مبتنی بر عملکرد
امکان گذراندن امیریه پس از احراز تخصصی