У меня есть промежуточный сайт, который я хочу протестировать через маяк Google, но не хочу, чтобы Google его индексировал.
Когда я использую это:
User-agent: *
Disallow: /
Маяк и гугл заблокированы.
Я думаю, что пользовательский агент — это «Chrome-Lighthouse» для маяка (source), но я не уверен, как написать синтаксис для robot.txt.
Какие-либо предложения?
