Я хотел бы знать, возможно ли заблокировать всех роботов на моем сайте. У меня возникают проблемы, потому что я перенаправляю exsample.com на www.exsample.com. Инструменты проверки robots.txt говорят, что у меня нет файла robots.txt на exsample.com, но он есть на www.exsample.com.
Надеюсь, кто-нибудь сможет мне помочь :)
просто создайте текстовый файл с именем robots.txt и в этом файле напишите следующее
User-agent: *
Disallow: /
и поместите его в папку www или папку public_html
это потребует от всех поисковых систем запретить весь контент веб-сайта, но не все поисковые системы будут соблюдать этот протокол, но наиболее важные поисковые системы прочитают его и сделают так, как вы просили.
Robots.txt работает для каждого хоста.
Поэтому, если вы хотите заблокировать URL-адреса на http://www.example.com, файл robots.txt должен быть доступен на http://www.example.com/robots.txt.
Обратите внимание, что субдомен имеет значение, поэтому вы не можете заблокировать URL-адреса на http://example.com с помощью файла robots.txt, доступного только на http://www.example.com/robots.txt.
