11 мая, 2019 
AdminGWP
Пoчeму зaпрeщeнныe к скaнирoвaнию URL всe рaвнo видны в поиске?
В большинстве своем так быть не должно, но так иногда случается. Странице как бы не положено индексироваться, поскольку это запрещено в том же robots.txt, однако в выдаче Google URL-адрес все равно значится.
За объяснениями обратились к Джону Мюллеру (John Mueller):
"Что происходит с PageRank урла, который запрещен в файле robots.txt? Он исчезает, как в случае с noindex/nofollow?"
Ответ представителя поисковой системы:
"Страница, которую в robots.txt запретили сканировать нашим ботам, все равно может собирать ссылки на себя. Как итог, такой урл может отображаться в результатах нашего поиска (с или без контента)".
Какой вывод из этого напрашивается. Примат ссылочного профиля над директивами в robots.txt. Ссылки все еще рулят – во всех смыслах!
Напомним, с помощью нашего генератора вы можете создать правильный robots.txt для своего сайта.
Опубликовано в рубрике