Боты поисковых систем и метаобновление для отключенного Javascript

Вместо того, чтобы насильно отправлять пользователя/бота, почему бы просто не вывести текст в верхней части страницы с указанием включить javascript для использования сайта?

Это позволит ботам по-прежнему читать страницу и переходить по ссылкам без JavaScript. Это положит конец проблемам с перенаправлением, и не будет необходимости обслуживать ботов на другой странице. Что заставит вас обновить несколько страниц.

Вы также можете ознакомиться с инструментами Google для веб-мастеров, чтобы узнать, что сейчас делает Google. чтение и улучшение на основе этого.

Пример: отключение javascript на SO создает красный баннер вверху, в котором просто говорится: «Переполнение стека лучше всего работает с включенным JavaScript», вы можете сделать это ссылкой на страницу с дополнительной информацией, если считаете, что этого недостаточно.

Вы пробовали <!--googleoff: all--> <noscript><meta redirect... /></noscript><!--googleon: all-->? Это не полное решение, но оно того стоит...

Вот что я бы сделал:

1. Сделайте так, чтобы сайт хоть как-то работал с javascript. если вы используете ajax повсюду, убедитесь, что для ссылок href установлен на URL-адрес, в котором вы будете использовать ajax. Это может заставить ваш сайт «несколько» работать без javascript.
2. Добавьте несколько переадресаций .htaccess для ботов. перенаправить их в какое-то разумное место, где они могут перейти по некоторым ссылкам и проиндексировать некоторые вещи.

Ваш сайт в его нынешнем виде, вероятно, очень плох с точки зрения возможности сканирования и поисковой оптимизации.

изменить: хорошо, я вижу вашу проблему. Поисковые роботы перенаправляются, увидев материал внутри noscript.

как насчет этого решения тогда:

если у вас есть только одна страница с noscript, вы можете добавить некоторые правила перезаписи в конфигурацию apache, которые будут показывать ботам другую версию страницы, и эта версия не будет иметь тега noscript. Например:

RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp
RewriteRule ^.*$ nometa.html [L]

Кроме того, какие технологии вы используете? вы используете какие-либо языки на стороне сервера, вы даже используете apache? Я предположил, что у вас есть apache + html, но нет языка на стороне сервера. Если у вас есть что-то работающее на стороне сервера, то это проще.

Поскольку ‹meta› не допускается в ‹body› страницы, а ‹noscript› недопустим в разделе ‹head›, возможно, боты просто сдаются на странице, где они столкнулись с плохим HTML.

Я предлагаю вам просто использовать тег ‹noscript› для инкапсуляции предупреждающего сообщения и ссылки, по которой пользователь может щелкнуть, если у него не включен Javascript.

Поисковым системам можно запретить переход по этой ссылке с помощью файла /robots.txt или путем размещения

<meta name="ROBOTS" content="NOINDEX,NOFOLLOW" /> 

тег на странице, на которую сделана ссылка.

У вас может быть страница с надписью «Вам нужен javascript». А затем добавьте на эту страницу

<script>
window.location.href='/thejspage.html';
</script>

Таким образом, люди с поддержкой javascript будут легко отправлены на действующую страницу, а пауки просто останутся на этой странице, вместо того, чтобы сохранять страницу, на которой нет javascript.

Это также должно помочь вашему SEO (поскольку поисковые системы найдут страницу, которую могут видеть обычные пользователи).

Возможно, вы могли бы использовать безголовый браузер и предоставить снимок HTML страницы для тех, у кого не включен javascript, в том числе для поисковых роботов.

http://code.google.com/web/ajaxcrawling/docs/getting-started.html