Как запретить поисковым системам индексировать контент через вторичные доменные имена?

У меня есть сайт на a.com (например). У меня также есть пара других доменных имен, которые я ни для чего не использую: b.com и c.com. В настоящее время они направляются на a.com. Я заметил, что Google индексирует контент с моего сайта, используя b.com/stuff и c.com/stuff, а не только a.com/stuff. Как правильно указать Google индексировать контент только через a.com, а не через b.com и c.com?

Кажется, что редирект 301 через htaccess — лучшее решение, но я не уверен, как это сделать. Есть только один файл htaccess (у каждого домена нет своего файла htaccess).

b.com и c.com не являются псевдонимами a.com, это просто другие доменные имена, которые я резервирую для возможных будущих проектов.


dns redirect .htaccess search-engine google-index
person shipshape    schedule 17.08.2010    source источник

Ответы (4)


arrow_upward
3
arrow_downward

Вы можете просто создать перенаправление с файлом .htaccess следующим образом:

RewriteEngine on
RewriteCond %{HTTP_HOST} \.b\.com$ [OR]
RewriteCond %{HTTP_HOST} \.c\.com$
RewriteRule ^(.*)$ http://a.com/$1 [R=301,L]
person Wolph    schedule 17.08.2010
comment
Спасибо, это сработало отлично. Я удалил \. перед b\.com и c\.com, потому что я перенаправляю на www.a.com, и таким образом работает как с www.b.com, так и только с b.com. - person shipshape; 17.08.2010

arrow_upward
6
arrow_downward

robots.txt — это способ сообщить паукам, что сканировать, а что нет. Если вы поместите в корень вашего сайта в /robots.txt следующее:

User-agent: *
Disallow: /

Хорошо воспитанный паук не будет искать какую-либо часть вашего сайта. На большинстве крупных сайтов есть файл robots.txt, например google.

User-agent: *
Disallow: /search
Disallow: /groups
Disallow: /images
Disallow: /news
#and so on ...
person Paul Rubel    schedule 17.08.2010
comment
Это не работает, если все домены указывают на один и тот же сайт. Файл robots.txt для a.com будет таким же, как и для b.com. Так что он запретит всем роботам доступ не только к b.com и c.com. Но также a.com. - person Wolph; 17.08.2010
comment
Спасибо, но нет никакого способа разместить что-либо на b.com - это просто зарезервированное мной доменное имя, которое ведет на a.com. - person shipshape; 17.08.2010
comment
@WoLpH, вы можете создать файл robots.txt с помощью PHP, ASP.NET и т. Д., Где это два домена на одном веб-сайте, хотя в этом случае лучше всего подходит для корабля 301, как в другом ответе. - person Jon Hanna; 17.08.2010
comment
На данный момент я оставлю это только для комментариев. @ Джон Ханна, хорошие моменты. - person Paul Rubel; 17.08.2010
comment
Стоит уйти. В то время как другой ответ больше подходит кверанту по причинам, которые они подробно описали позже, это может быть чей-то спасительный ответ Google :) - person Jon Hanna; 17.08.2010

arrow_upward
0
arrow_downward

Это во многом зависит от того, чего вы хотите достичь. 301 скажет, что контент перемещен навсегда (и это правильный способ передачи PR), этого вы хотите добиться?

Вы хотите, чтобы Google вел себя хорошо? Затем вы можете использовать robots.txt, но имейте в виду, что есть и обратная сторона: этот файл доступен для чтения извне и каждый раз находится в одном и том же месте, поэтому вы фактически выдаете расположение каталогов и файлов, которые хотите защитить. Поэтому используйте robots.txt только в том случае, если защищать нечего.

Если есть что-то, что стоит защитить, чем вы должны защитить каталог паролем, это будет правильным способом. Google не будет индексировать каталоги, защищенные паролем.

http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=93708

Для последнего метода это зависит от того, хотите ли вы использовать файл httpd.conf или .htaccess. Лучше всего будет использовать httpd.conf, даже если .htaccess кажется проще.

http://httpd.apache.org/docs/2.0/howto/auth.html

person Florin Sima    schedule 21.11.2012

arrow_upward
0
arrow_downward

Пусть ваш код на стороне сервера сгенерирует каноническую ссылку, указывающую на страницу, которая будет считаться «источником». Пример =

Ссылка: http://googlewebmastercentral.blogspot.com/2009/02/specify-your-canonical.html — обновление: этот тег ссылки в настоящее время также поддерживается Ask.com, Microsoft Live Search и Yahoo!.

person templeorder    schedule 16.06.2014