Для владельца сайта, который желает оптимизировать сайт для поисковых систем, удаление дубликатов страниц будет стоять в первой десятке необходимых первоочередных действий. Итак, как было сказано выше, одна страница сайта, которая доступна как http://www.site.com/page и как http://site.com/page – для роботов поисковых систем это разные страницы, но с одинаковым содержанием. А от такой ситуации нужно избавляться. Конечно, доступность сайта как с www, так и без www – это удобно для пользователя и хорошо, но для поисковых систем… однако, нужно немного оптимизировать.

Прежде всего, давайте определимся, каким мы сделаем канонический адрес сайта – с www или без www. Определим это самое главное зеркало сайта.

Если сайт планируется продвигаться под поисковую систему Google, то задаем в строке поиска запрос такого типа:

site:http://www.ВАШ САЙТ.com/

а затем,

site:http://ВАШ САЙТ.com/

После чего сравниваем количество найденных страниц. В какой версии написания URL больше проиндексировано страниц сайта, такую версию и имеет смысл продвигать.

Если продвигаете сайт под поисковую систему Яндекс, то в строке поиска пишем URL сайта и смотрим какой вариант написания URL сайта проиндексирован Яндексом.

После того, как вы определили, какой вариант написания URL сайта лучше проиндексирован поисковыми системами, необходимо сделать постоянный редирект. В данном случае необходимо чтобы все страницы сайта с неглавным URL перенаправляли посетителя на страницы с главным URL (на главное зеркало).

То есть, если вы пришли к выводу, что http://www.ваш сайт.com/ – это главное зеркало сайта, то страница http://ваш сайт.com/ должна перенаправлять посетителя на страницу http://www.ваш сайт.com/, а роботам поисковых систем отвечать кодом 301 и перенаправлять на http://www.ваш сайт.com/.

Настроить такой редирект не сложно и производится это зачастую с помощью корректировки файла .htaccess

Кроме того, для Яндекса можно указать в файле robots.txt главное зеркало сайта с помощью директивы Host:

User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: www.ваш сайт.com