Я пытаюсь использовать scrapy для развертывания моего проекта поискового робота в экземпляре scrapyd, но вызов commend возвращает следующую ошибку: Ответ сервера (200): {"status": "error", "message": "AttributeError: объект 'NoneType' не имеет...

Можно ли получить данные с веб-сайтов с помощью Scrapy и сохранить эти данные в базе данных Microsoft SQL Server? Если да, есть ли примеры того, как это делается? Это в основном проблема Python? то есть, если я найду какой-то код сохранения...

Я просматриваю учебник по скрэпи http://doc.scrapy.org/en/latest/intro/tutorial.html и я следовал за ним, пока не запустил эту команду scrapy crawl dmoz И это дало мне вывод с ошибкой 2013-08-25 13:11:42-0700 [scrapy] INFO: Scrapy...

Недавно я настроил свой первый сервер Ubuntu и установил scrapy и scrapyd. Я написал несколько пауков и выяснил, как запускать пауков через API на порту 6800. Я также заметил, что там есть веб-интерфейс. Я также заметил, что почти каждый может...

Я только что установил scrapyd на Ubuntu 14.04 и после установки просто набрал «scrapyd» в командной строке и получил: Не удалось загрузить приложение: нет модуля с именем txweb Я использовал как общие, так и специфичные для Ubuntu установки ,...

Я создал пару веб-пауков, которые собираюсь запускать одновременно со scrapyd. Сначала я успешно установил scrapyd в Ubuntu 14.04 с помощью команды: pip install scrapyd, и когда я запускаю команду: scrapyd, я получаю следующий вывод в терминале:...

Моя команда scrapy crawl работает хорошо Но когда я хочу развернуть scrapyd, я столкнулся с проблемами scrapyd-deploy <target> -p <project> Я пытаюсь использовать свой Mac и удаленный сервер (centos), но оба имеют ошибку...

Имя паука quotes14 , и он хорошо работает из командной строки. т.е. если я запускаю scrapy crawl quotes14 из каталога /var/www/html/sprojects/tutorial/ , он отлично работает в командной строке. У меня scrapyd работает как демон. Мои файлы...

У меня есть несколько пауков Scrapy, которые мне нужно запускать одновременно каждые 5 минут. Проблема в том, что для запуска требуется от 30 секунд до 1 минуты. Создается впечатление, что они все заводят свой закрученный двигатель, и поэтому на...