Настройка зеркал сайта с точки зрения индексации поисковыми системами Yandex и Google
И так, для чего это нужно? Дело в том, что если зеркала будут настроены неправильно или вообще не настроены, то это может привести к появлению в индексе поисковых систем дублирующихся страниц. В результате возможно ухудшение индексации страниц сайта и понижение его рейтинга в выдаче поисковых систем, что затруднит продвижение вашего проекта...
Яндекс на странице
пишет:
Какие сайты робот Яндекса считает зеркалами?
Зеркалами считаются сайты, являющиеся полными или частичными копиями. Копии определяются по совпадению контента на страницах с одинаковыми адресами (site1.ru/page.html и site2.ru/page.html). Например, в большинстве случаев хосты site.ru и
являются зеркалами, так как контент страниц, доступных по одинаковым адресам, не отличается.
Также сайты считаются зеркалами, если со страниц одного сайта настроен серверный редирект на соответствующие им страницы другого сайта (site1.ru перенаправляет на site2.ru, site1.ru/page.html перенаправляет на site2.ru/page.html и т.д.).
Индексируются ли зеркала?
Робот склеивает зеркала, из них индексируется и участвует в поиске только один из сайтов — главное зеркало.
Вроде все понятно написано.
Осталось только выяснить что же на самом деле проиндексировано поисковым роботом на вашем ресурсе.
Для Yandex в строке поиска для этого наберем команду
Host:имя.вашего.ресурса с "WWW":
и без "WWW":
Для гугла другая команда для получения данных по индексации -
site:имя.вашего.ресурса. без "WWW"
а также посмотрим что выдаст нам Google с "WWW":
Как видим, проиндексирован только один адрес, в данном случае без "WWW". Почему?
Дело в том, что на данных ресурсах настроены зеркала. Для яндекса существует директива "Host" в
необходимо прописать имя главного зеркала:
PHP код:
#Пример корректно составленного robots.txt, при обработке
#которого директива Host учитывается
User-Agent: *
Disallow:
Host: myhost.ru
Хоть это не гарантирует что указанный сайт будет выбран роботом, но является весомым аргументом.
Также учитывается выбор вебмастера, сделанный
в сервисе Яндекс.Вебмастер. Этот выбор имеет больший приоритет, чем директива Host.
В случае перенаправления в качестве главного зеркала робот выберет цель редиректа.
Для Google чтобы указать какой адрес является основным используется файл в корне сайта .htaccess
Необходимо правильно настроить 301 редиректа, для чего в файле пишем следующий код:
для перенаправления с сайта с www на сайт без www:
PHP код:
RewriteCond %{HTTP_HOST} ^site\.ru
RewriteRule ^(.*)$ http://www.site.ru/$1 [R=301,L]
для перенаправления с сайта без www на сайт c www:
PHP код:
RewriteCond %{HTTP_HOST} ^www.site\.ru
RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]