Вопросы по теме 'robots.txt'
SEO-хаос из-за изменения файла robots.txt на сайте Wordpress
Недавно я редактировал файл robots.txt на своем сайте с помощью плагина wordpress. Однако, поскольку я сделал это, Google, похоже, удалил мой сайт со своей страницы поиска. Я был бы признателен, если бы я мог получить экспертное мнение о том, почему...
2442 просмотров
schedule
03.05.2023
Регулярное выражение для robots.txt — запретить что-либо в каталоге, но не в самом каталоге
Я использую WordPress с настраиваемыми постоянными ссылками и хочу запретить свои сообщения, но оставить страницы категорий доступными для пауков. Вот несколько примеров того, как выглядят URL-адреса:
Страница категории: somesite dot com...
1031 просмотров
schedule
19.05.2024
Предотвращение прямого доступа к robots.txt через .htaccess
Я хочу запретить пользователям доступ к моему файлу robots.txt, но при этом хочу, чтобы поисковые системы читали его. Является ли это возможным? Если да, то как мне это сделать? Я считаю, что если я напишу следующее в .htaccess, это сработает, но я...
1994 просмотров
schedule
25.12.2023
Как избежать двойной индексации Google с помощью .htaccess?
У меня есть веб-сайт с хорошим RewriteRule в корне, который перенаправляет все запросы такого типа:
http://domain.com/foo/parameter
в
http://domain.com/index.php?args=parameter
Пользователи могут видеть только чистый URL, и все...
570 просмотров
schedule
29.08.2023
Блокировка папок между разрешенным содержимым
У меня есть сайт со следующей структурой:
http://www.example.com/folder1/folder2/folder3
Я хотел бы запретить индексацию в folder1 и folder2 . Но я бы хотел, чтобы роботы индексировали все под folder3 .
Есть ли способ сделать это с...
178 просмотров
schedule
06.07.2022
Укажите robots.txt с помощью IIS для разных поддоменов
У меня есть сайт, скажем, www.example.com, а также две промежуточные платформы: beta.example.com и preview.example.com, и мне нужен способ установить разные файлы robots.txt для каждого с помощью IIS или чего-то подобного.
Причина этого в том, что...
615 просмотров
schedule
14.03.2024
Может ли робот, не использующий протокол исключения роботов (robots.txt), читать любой контент веб-сайта?
В документе об исключении роботов говорится:
К нему никто не принуждает, и нет гарантии, что все существующие и будущие роботы будут его использовать. Считайте, что это обычное средство, которое большинство авторов роботов предлагают...
62 просмотров
schedule
06.01.2023
Как проще всего парсерам Scrapy соблюдать Crawl-Delay в robots.txt?
Есть ли параметр, который я могу переключить, или DownloaderMiddleware который я могу использовать для принудительного применения параметра Crawl-Delay файла robots.txt? Если нет, то как реализовать ограничение скорости в парсере?
1238 просмотров
schedule
05.09.2023
robots.txt - Запретить сканирование мобильного сайта и что писать в метатеге?
я хочу написать мобильный сайт и предотвратить его сканирование. Я буду запрещать все для yahoo, google и т. д.
И что я должен написать в метатеге?
Достаточно ли этого кода или есть еще?
<meta name="apple-mobile-web-app-capable"...
181 просмотров
schedule
13.07.2023
Файл robots.txt, вероятно, недействителен [закрыт]
это мой robots.txt . Я хочу разрешить индексацию только базовому URL-адресу domain.com и запретить все дополнительные URL-адреса, такие как domain.com/foo и domain.com/bar.html .
User-agent: *
Disallow: /*/
Поскольку я не уверен, что...
1611 просмотров
schedule
12.08.2022
Запретить Google индексировать некоторые страницы сайта
У меня проблема с большим количеством ошибок 404 на одном сайте. Я понял, что эти ошибки происходят из-за того, что Google пытается найти страницы, которых больше не существует. Теперь мне нужно сказать Google больше не индексировать эти страницы....
403 просмотров
schedule
27.03.2022
Как запретить роботам сканировать пагинацию с помощью robots.txt?
У меня есть различные страницы на моем сайте, и я хочу, чтобы Google и другие поисковые системы не сканировали индекс моих страниц.
Пример просканированной страницы:
http://www.mydomain.com/explore/recently-updated/index/12
Как я могу с...
2426 просмотров
schedule
30.05.2022
Запретить Google индексировать ссылки, содержащие %2C (запятая) с robots.txt
Может ли кто-нибудь помочь мне добавить правило disallow в мой файл robots.txt , которое остановит поисковые роботы, индексирующие любую ссылку, содержащую %2C , которая является HTML URL encoding для запятой (,).
Я думаю, что я ищу...
663 просмотров
schedule
21.05.2023
Дублированный контент в Google. htaccess или robots.txt?
На моем веб-сайте у меня есть следующая структура URL-адресов категорий:
/category.php?id=6 (id=6 для интернет-категории)
Мой оптимизированный для SEO URL выглядит так:
/category/6/internet/
Проблема в том, что к нему можно получить...
469 просмотров
schedule
28.11.2023
Текст роботов заблокирован
header("Content-Type: text/plain; charset=utf-8");
if ($_SERVER['SERVER_PORT'] == 443) {
echo "User-agent: *\n" ;
echo "Disallow: /\n" ;
} else {
echo "User-agent: *\n" ;
echo "Disallow: \n" ;
}
Что делает этот код в robots.php?
Я нашел его...
112 просмотров
schedule
27.12.2023
robots.txt, чтобы разрешить боту AdSense
Что я должен добавить в свой файл robots.txt, чтобы бот AdSense не столкнулся с проблемами при сканировании моего сайта? В службе поддержки Google ( http://support.google.com/adsense/bin/answer.py?hl=ru&answer=10532 ) рекомендуется добавить следующие...
3724 просмотров
schedule
22.02.2024
Несколько пользовательских агентов в robots.txt
В файле robots.txt у меня есть следующие разделы
User-Agent: Bot1
Disallow: /A
User-Agent: Bot2
Disallow: /B
User-Agent: *
Disallow: /C
Будет ли оператор Disallow:c виден Bot1 и Bot2?
4732 просмотров
schedule
20.03.2024
Как сделать так, чтобы ссылка в спам-посте не выдавала выдачу поисковой системы
У меня есть вики-сайт. Многие спамеры используют его для SEO. Они добавляют спам-сообщения со ссылкой на внешний сайт. Есть ли способ убедиться, что они не получат от этого выгоды? Моя идея заключается в добавлении текстового файла, такого как...
32 просмотров
schedule
10.04.2024
*/ссылка в robots.txt — это блокирует все или только URL-адрес, заканчивающийся на /ссылку?
У меня есть приложение Rails с продуктами, где продукты можно найти по адресу:
мой домен.com/этот продукт
если пользователь нажимает на ссылку, ведущую на веб-сайт производителя, это делается с помощью функции «ссылка» со следующим URL-адресом:...
450 просмотров
schedule
16.09.2023
Почему мой файл карты сайта считается пустым?
У меня есть файл robots.txt в корне моего сайта, в котором есть одна строка:
Sitemap: http://www.awardwinnersonly.com/sitemap.xml
Sitemap.xml также находится в корне сайта и содержит следующий текст:
<?xml version="1.0"...
2035 просмотров
schedule
14.12.2023
