Лучший сайт-паук?

Я перемещаю кучу сайтов на новый сервер и, чтобы ничего не пропустить, хочу иметь возможность предоставить программе список сайтов и загрузить каждую страницу / изображение с него. Есть ли какое-нибудь программное обеспечение, которое может это сделать? Я также могу использовать его для загрузки копии некоторых сайтов WordPress, поэтому я могу просто загружать статические файлы (некоторые из моих сайтов WP никогда не обновляются, поэтому вряд ли стоит устанавливать новые базы данных и т. Д.)


person nixnub    schedule 24.10.2009    source источник
comment
принадлежит superuser.com   -  person Shay Erlichmen    schedule 24.10.2009
comment
У вас нет возможности подключиться к сайту через FTP и таким образом загрузить файлы? Если бы вы могли это сделать, было бы намного проще, и вам не пришлось бы беспокоиться о том, что файлы будут пропущены, потому что в настоящее время на них ничего не ссылается.   -  person David    schedule 25.10.2009


Ответы (2)


Вы, вероятно, услышите много мнений. Вот один: http://www.httrack.com/

person leonm    schedule 24.10.2009

wget - ваш инструмент.

в системах unix / linux он может быть уже установлен. для систем Windows загрузите его со страницы http://gnuwin32.sourceforge.net/packages/wget.htm.

это инструмент командной строки с набором параметров командной строки для управления сканированием целевого веб-сайта. используйте "wget ​​--help", чтобы просмотреть все доступные параметры.

person Adrien Plisson    schedule 24.10.2009