На: Случаи использования Heritrix есть вариант использования для "Только хранить успешные HTML-страницы" Моя проблема: я не знаю, как реализовать это в моем файле cxml. Особенно: добавление ContentTypeRegExpFilter в ARCWriterProcessor =>...

Итак, последние два дня я искал краулер, который соответствовал бы моим потребностям. Я хочу создать поисковую систему и сам хочу делать индексацию. Это будет частью академического проекта. Хотя у меня нет вычислительной мощности, чтобы сканировать...

В настоящее время я работаю с Heritrix, и у меня есть стандартная установка (эта: http://builds.archive.org/maven2/org/archive/heritrix/heritrix/3.2.0/ ), и он отлично работает. Но теперь я хочу написать и добавить свои собственные расширения,...