Разница между скребком, краулером и пауком в контексте Scrapy

Crawler (scrapy.crawler) — это основная точка входа в Scrapy API. Он обеспечивает доступ ко всем основным компонентам Scrapy и используется для подключения расширений к Scrapy.

Компонент Scraper (scrapy.core.scraper) отвечает за разбор ответов и извлечение из них информации. Он запускается из двигателя и используется для запуска ваших пауков.

scrapy.spiders — это модуль, содержащий базовую реализацию Spider (которую вы используете для написания своих поисковых роботов), а также некоторые распространенные поисковые роботы, доступные из коробки (например, CrawlSpider для сканирования на основе набора правил, SitemapSpider для карты сайта). сканирования или XMLFeedSpider для сканирования каналов XML).

Более подробная информация доступна на страницах официальной документации:
http://doc.scrapy.org/en/latest/topics/spiders.html?highlight=crawlspider#spiders http://doc.scrapy.org/en/latest/topics/api.html?highlight=scrapy.crawler#module-scrapy.crawler