Поисковые роботы не могут индексировать из-за активов, присутствующих в rails heroku

На этих веб-сайтах https://staging.blockbutler.io и https://blockbutler.io (оба RoR на героку) Поисковые боты Google и Яндекса не могут индексировать по причине: 'robots.txt блокирует', но robots.txt в порядке . А если убрать javascript_include_tag и stylesheet_link_tag то страница отлично проиндексировалась. 3 дня пробовал разные тесты - ничего не помогает:

  1. если есть только javascript_include_tag с пустым application.js или только stylesheet_link_tag с пустым application.scss - без индексации
  2. добавить gem 'rails_12factor' - без индексации
  3. rake assets:precompile RAILS_ENV=production и отправить статические файлы из общедоступных/активов на сервер - без индексации
  4. поместить ресурсы в нижний колонтитул - без индексации
  5. обернуть ресурсы в <noindex> и rel: "nofollow" - без индексации

Я действительно не знаю, что за магия происходит, и буду очень рад любым идеям.

Журналы при запуске живого теста консоли поиска Google: введите здесь описание изображения

производство.rb:

config.assets.js_compressor = :uglifier
config.assets.enabled = true
config.assets.version = '1.0'
config.assets.compile = true

robots.txt:

User-agent: *
Allow: /

User-agent: Yandex
Allow: /

User-agent: Google
Allow: /

Sitemap: https://blockbutler.io/sitemap.xml

p.s. извините за плохой английский - буду признателен за редактирование моего языка (:


ruby-on-rails heroku google-search-console
person Legendary    schedule 29.05.2019    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Какая-то чертова магия здесь. Изменить <%= javascript_include_tag 'application', rel: "nofollow" %> на <script src="/assets/application.js" rel="nofollow"></script>

И теперь индексатор Google работает просто отлично. ИНДЕКСЕР GOOGLE НЕ ЛЮБИТ БОЛЬШИЕ ИМЕНА ФАЙЛОВ. Буду думать, как предотвратить кеширование файла assets.

p.s. Ok. Теперь каждый раз, когда я обновляю активы, я меняю имя актива, например, applicationv0.js и т. Д. До сих пор не знаю, почему Google не в порядке с именем файла application-hash.js по умолчанию.

person Legendary    schedule 30.05.2019