Текст роботов заблокирован

header("Content-Type: text/plain; charset=utf-8");
if ($_SERVER['SERVER_PORT'] == 443) {
echo "User-agent: *\n" ;
echo "Disallow: /\n" ;
} else {
echo "User-agent: *\n" ;
echo "Disallow: \n" ;
}

Что делает этот код в robots.php?

Я нашел его на своем сервере, и, похоже, он блокирует индексацию текста поисковыми системами.


robots.txt robot
person user1925594    schedule 24.12.2012    source источник
comment
Кажется, это не слишком много. Это файл php, который отвечает, как если бы это был файл robots.txt, устанавливающий ограничения.. User-agen:* и Disallow: /. Это настраивает, чтобы никто через порт 443 не мог получить доступ к вашему корневому каталогу.   -  person user1760422    schedule 24.12.2012
comment
http://www.inkplant.com/code/https-robots.php   -  person ialexander    schedule 24.12.2012

Ответы (1)


arrow_upward
0
arrow_downward

Когда вы читаете эту страницу через порт 443 (обычно зарезервированный для безопасного соединения), например. https://yoursite.com/robots.php возвращаемый контент будет следующим:

User-agent: *
Disallow: /

«User-agent: *» означает, что этот раздел относится ко всем роботам. «Запретить: /» сообщает роботу, что он не должен посещать какие-либо страницы на сайте.

В противном случае (страница robots.php посещена на любом другом порту - http://yoursite.com/robots.php) возвращаемый контент будет следующим:

User-agent: *
Disallow:

В этом случае робот может посетить любую страницу сайта.

Также header("Content-Type: text/plain; charset=utf-8"); отображает содержимое страницы как обычный обычный текст.

person Tom    schedule 24.12.2012