Как бороться с дублями страниц на сайте?

С проблемой дублирования страниц сталкиваются большинство вебмастеров. Многое зависит от системы управления сайтом, и об этом мы тоже поговорим, но сначала о том, что можно сделать на любой CMS, чтобы избежать дублей.

1. Первое действие — настройка понятных URL, когда заголовки страниц на кириллице указываются в URL латиницей в соответствии с правилами транслитерации. При этом нужно избегать внутренних ссылок на страницы с динамическими URL.

2. Ссылки с динамическими адресами нужно изъять из индексации путём запрета индексирования через файл robots.txt.

3. Также не стесняйтесь использовать редирект 301 для различных целей. Например, с его помощью можно сделать перенаправление с зеркала или зеркал на основной сайт, со страниц со слэшем на страницы без слэша, а также с www на страницы без www.

4. Желательно задать главное зеркало через директиву Host, что полезно для продвижения через Яндекс.

5. Чтобы проверить дубли страниц, полезно сверить число проиндексированных адресов с их количеством в карте сайта.

Удалить дубли страниц на сайте можно с использованием специальных программ и плагинов или вручную (последний способ подойдёт для небольших проектов с малым количеством страниц). Сначала осуществляется сканирование записей ресурса в поисковиках, после чего составляются таблицы найденных дубликатов. «Склеивание» дублей производится пакетным добавлением редиректа 301 для найденных копий. Также не забудьте удалить или изменить ссылки на эти URL, в том числе внешние ссылки.

После устранения текущих проблем полезно принять профилактические меры, которые мы описали выше. Также эффективность борьбы с дублями зависит от CMS. При этом наиболее проблемной в этом отношении является Joomla, которая без тщательной настройки будет дублировать страницы «пачками». Не менее популярный WordPress в этом плане куда удобнее: для этой CMS написаны соответствующие плагины, позволяющие автоматизировать простановку редиректов и предотвратить появление страниц-дублей в будущем.