Неустранимая ошибка при запуске scrapyd в терминале

Я только что установил scrapyd на Ubuntu 14.04 и после установки просто набрал «scrapyd» в командной строке и получил:

Не удалось загрузить приложение: нет модуля с именем txweb

Я использовал как общие, так и специфичные для Ubuntu установки, и ни одна из них не работает. Просто для справки: я решил использовать scrapyd после того, как создал проект, в котором работало несколько пауков, но который не смог передать очищенные данные в две разные таблицы. Я просмотрел некоторые другие сообщения SO, такие как this, но они кажутся для обращения к более старым версиям scrapyd, которые, вероятно, больше не будут актуальны.

Может кто-нибудь показать мне, как начать работу со scrapyd, потому что информация, представленная в документах, похоже, не работает для меня, спасибо.


python web-scraping scrapy scrapyd
person loremIpsum1771    schedule 13.07.2015    source источник

Ответы (1)


arrow_upward
4
arrow_downward

хотя в документах есть apt-get ... pip - лучший способ установить scrapy (у меня никогда не было сбоев)

sudo pip install scrapyd у меня работает, а scrapyd ошибок не выдает.

Когда вы устанавливаете с помощью apt-get, твисты могут не устанавливаться, но об этом позаботится pip.

Попробуйте сначала удалить ваш scrapyd apt-get, а затем использовать pip для его установки.

sudo apt-get purge scrapyd
sudo pip install scrapyd

-------------- ОБНОВИТЬ ------------

Отвечая на следующий вопрос в комментарии...

Если вы хотите запустить scrapyd-deploy, вам также необходимо установить пакет scrapy-client, который не установлен вместе с scrapy. Это упоминается в документах — http://scrapyd.readthedocs.org/en/latest/deploy.html

Вы можете установить его с помощью sudo pip install scrapyd-client

person AbdealiJK    schedule 13.07.2015
comment
Когда я просто набираю scrapyd, кажется, что это работает, но когда я использую: scrapyd-deploy, я получаю: команда не найдена. Есть ли какая-то команда, которую я должен выполнить, прежде чем пытаться развернуть или что-то в этом роде? Спасибо за ответ кстати. - person loremIpsum1771; 14.07.2015