robots.txt и seo-рейтинг

есть ли смысл иметь robots.txt только с одной строкой контента, как показано ниже

Пользовательский агент: *

по сравнению с отсутствием его вообще?


ranking
person Zo72    schedule 24.02.2010    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Нет, Google (и давайте не будем ходить вокруг да около, Google — это поисковая система, о которой вы должны заботиться) по умолчанию будет сканировать все, если вы не запретите ей этого делать.

Если вы хотите помочь Google, используйте инструменты Google для веб-мастеров и отправьте карту сайта в правильном формате.

http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156184

person Nick Allen    schedule 24.02.2010
comment
однако поисковый робот Google избегает http:404. Интересно, означает ли это, что мой сайт более надежен? - person Zo72; 24.02.2010
comment
Инструменты Google для веб-мастеров идентифицируют страницы 404, с которыми он сталкивается, позволяя вам исправить их или настроить переадресацию 301, что вы должны делать в любом случае. Это, в свою очередь, сделает ваш сайт более надежным, а также станет более осторожным :) - person Nick Allen; 24.02.2010
comment
-1 Google составляет только (примерно) 66% всех поисковых систем. Итак, вы рекомендуете, чтобы ОП просто игнорировал 33% своей возможной клиентской базы? Это звучит как плохое решение для меня. - person amischiefr; 24.02.2010
comment
66% где?! Google отвечает за около 98% поисковых запросов (во всяком случае, в Великобритании в 2007 году было примерно 90%). В любом случае это верно для любой поисковой системы, то, что предлагает ОП, бессмысленно. Какая другая поисковая система также предоставляет инструменты для веб-мастеров, такие как Google. ИМХО, беспокоиться о поисковых системах за пределами Google - пустая трата времени, потому что все, что вы делаете для Google, вероятно, в любом случае принесет пользу другим поисковым системам. - person Nick Allen; 24.02.2010
comment
Ржу не могу. Google имеет гигантскую долю рынка поисковых систем. Если исключить Китай, то Ник прав. amischiefr совершенно неправильно. - person Layke; 24.02.2010
comment
О, подождите, может быть, нам стоит оптимизировать альфа-версию вольфрама, я слышал, что около 1000 человек использовали ее в прошлом году LOL - person Nick Allen; 24.02.2010
comment
ahfx.net/weblog/154, seo.zunch.com/search_engine_usage_statistics.htm, searchenginewatch.com/2156451 Правда? Я совсем не в себе, да? Покажите мне какое-нибудь исследование, которое показывает, что на Google приходится 98% всех поисковых запросов в Интернете. Я хотел бы увидеть это. - person amischiefr; 24.02.2010

arrow_upward
1
arrow_downward

Нет; нет смысла это делать.

person SLaks    schedule 24.02.2010