Я пробовал приложение WebSphinx.
Я понимаю, что если я поставлю wikipedia.org в качестве начального URL-адреса, он не будет сканироваться дальше.
Следовательно, как на самом деле просканировать всю Википедию? Может ли кто-нибудь дать мне некоторые рекомендации? Нужно ли мне специально идти и находить эти URL-адреса и указывать несколько начальных URL-адресов?
У кого-нибудь есть предложения хорошего веб-сайта с учебником по использованию API WebSphinx?
Если ваша цель — просканировать всю Википедию, вы можете просмотреть доступные дампы баз данных. См. http://download.wikimedia.org/.
Я не уверен, но, возможно, UserAgent WEbSphinx заблокирован файлом robots.txt из Википедии.
http://en.wikipedia.org/robots.txt
Я думаю, что вы не могли выбрать необходимую конфигурацию для этого. Переключитесь на расширенный, просканируйте поддомен, не ограничивайте размер страницы и время.
Однако WebSphinx, вероятно, не может сканировать всю Википедию, он замедляется при больших объемах данных и в конечном итоге останавливается, когда используется около 200 МБ памяти. Я рекомендую вам Nutch, Heritrix и Crawler4j.
Вероятно, вам нужно начать со случайной статьи, а затем просканировать все статьи, до которых вы можете добраться из этой начальной. Когда это дерево поиска будет исчерпано, начните с новой случайной статьи. Вы можете начать поиск с терминов, которые, по вашему мнению, приведут к наибольшему количеству статей, или начать с избранной статьи на первой странице.
Еще вопрос: Почему WebSphinx не прополз дальше? Блокирует ли википедия ботов, которые идентифицируют себя как «WebSphinx»?
Помимо использования дампа базы данных Википедии, упомянутого выше, вы можете использовать API Википедии для выполнения запросов, таких как получение 100 случайных статей.
http://www.mediawiki.org/wiki/API:Query_- Списки#random.2F_rn
