Я настроил веб-URL для сканирования данных веб-контента. Все веб-данные успешно сканируются в моем GSA, но я получаю сообщение «Исключено: роботы не индексируются» в диагностике индекса для одного URL-адреса, и документ с этого URL-адреса не индексируется в GSA.
документ не содержит метатегов [META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"].
вы наблюдали такое поведение в GSA?
Проверьте содержимое соответствующего robots.txt, там будет правило, если его нет на реальной странице в виде метаданных.
Установите флажок «Начальные и заблокированные URL-адреса»> «Не следовать шаблонам» в конфигурации GSA. Возможно, там это было исключено.
У меня тоже была эта проблема. Сначала я проверил, что мой URL-адрес не исключается из индексации, с помощью онлайн-тестеров robots.txt. Затем я проверил свою ссылку в разделе «Начальные и заблокированные URL-адреса» в GSA, чтобы убедиться, что она не соответствует никаким фильтрам блокировки.
Как только эти возможности были устранены, я перешел в «Индекс» -> «Диагностика» -> «Диагностика индекса» и выбрал подходящую коллекцию. Оттуда, как только я перешел к имени файла и щелкнул его, появляется экран с кнопкой «Повторно просканировать этот URL». Нажатие этой кнопки решило проблему для меня.
