Как контролировать уникальность контента

Уникальность контента сайта — один из важных факторов хорошего ранжирования в поисковых системах, однако нужно следить не только за тем, чтобы ваши тексты не дублировались на сайтах конкурентов, но и чтобы они не имели дублей на страницах вашего ресурса. Главные причины дублированного контента: ошибки при индексации сайта, а также неправильная настройка DNS. Причина ошибок в индексации часто заключается в том, что при «переезде» на новые URL остаются доступными страницы со старыми адресами.

От идентичного контента на сайтах конкурентов избавиться просто: достаточно переписать текст. Если же дубли есть на собственном ресурсе, решить проблему можно при помощи редиректа 301 с устаревших или второстепенных страниц на основные. Также дубли могут появляться из-за некорректной настройки ошибки 404. Это тоже решается при помощи редиректа 301, либо можно настроить выдачу ошибки 404 при вызове второстепенной (или, как говорят, «неканонической») страницы.

Из других проблем, связанных с дублированным контентом на внутренних страницах, отметим несовпадение регистра в URL (например, mebel/stoly — это не то же самое, что и Mebel/Stoly), а также наличие или отсутствие «слэша» в URL (например, mebel/stoly и mebel/stoly/ — это разные страницы). В этих случаях можно также воспользоваться редиректом 301 или выдавать ошибку 404 при запросе неканонических страниц.

Ошибки в настройках DNS приводят к тому, что поисковые роботы индексируют все поддомены, и если на этих поддоменах размещены идентичные тексты, то дубли появяются также в поисковиках, что плохо для продвижения. Это можно устранить, правильно настроив запись CNAME для доменных имён. Ещё одно важное значение — TTL, определяющее, сколько времени в секундах будут храниться в кэше данные о записях DNS.

Проверка уникальности контента по отношению к сайтам конкурентов осуществляется при помощи сторонних сервисов. Их более десятка, а самыми популярными на сегодня являются text.ru, Advego и eTXT, алгоритмы работы которых различны. Опыт нашей работы показывает, что text.ru обмануть сложнее, чем другие, поскольку он легче вычисляет простой рерайт (переписывание), отдавая преимущество копирайтингу. Кроме того, в отличие от других сервисов (например, Advego), text.ru предлагает увеличенный пакет бесплатных символов без установки дополнительного ПО (до 50 тысяч символов по данным на 2020 год).