Как создать и настроить карту сайта sitemap.xml

Существуют карты сайтов sitemap, создаваемые для облегчения индексации ресурса поисковыми роботами. Эти элементы имеют формат xml. Также есть и другой тип в формате html, предназначенный для удобства навигации пользователей. Такие карты представляют сайт в виде иерархического древа, чтобы человек мог одним щелчком мыши выбрать нужный раздел. Но нас интересуют элементы в формате xml, поскольку для навигации пользователей предусмотрено много других удобных способов.

Итак, в документе sitemap.xml должна содержаться следующая информация, предназначенная для поисковых систем:

• список URL-адресов с их иерархической структурой;
• тип медиа контента (картинки, видеофайлы) с информацией о нём;
• указание на то, как часто обновляется сайт, а также время, когда обновление происходило в последний раз;
• дополнительная информация (например, другие версии проиндексированных веб-страниц, если они есть).

Представленная информация позволит роботам Гугла и Яндекса быстро проиндексировать все страницы сайта, отображая их в поисковой выдаче по соответствующим запросам, если эти страницы под них оптимизированы.

Как создать карту сайта sitemap.xml

Для этого пользуются двумя способами:

• плагин-генератор для конкретной CMS,
• внешний генератор.

Мы рекомендуем пользоваться первым способом, поскольку, в отличие от бесплатных внешних генераторов, модули, подключаемые к системам управления сайтом, имеют больше возможностей для настройки. О том, как их настраивать, можно написать несколько отдельных статей, поскольку для каждой CMS соответствующий плагин имеет свои особенности.

Что до внешних генераторов (которые подойдут, если сайт, например, сделан на самописном или редком движке), то они хорошо работают на ресурсах с небольшим количеством страниц, которые обновляются редко. Действуют они так: в поле ввода нужно вписать адрес главной страницы, нажать кнопку старта и подождать, пока программа выполнит работу. После этого нужно скачать готовый файл sitemap.xml и поместить его в корень сайта при помощи программы, поддерживающей работу по ftp (например, Filezilla).

Если sitemap.xml отсутствует

В этом случае сайт точно так же будет отображаться в поиске, однако часто не в полном объёме. Это связано с тем, что существуют страницы, на которые не ведёт ни одна ссылка, поэтому поисковые роботы просто не смогут на них попасть. А вот при наличии карты в формате xml такая страничка будет проиндексирована и станет мелькать в поиске.

Ещё одна проблема при отсутствии соответствующего xml-файла связана с часто обновляющимися страницами. Роботы посещают все разделы сайта не так часто. Поэтому, если нет соответствующего указания в нужном файле, они могут долго не заглядывать на страничку, которая уже успела обновиться. А значит, информация о ней в Гугле и Яндексе окажется устаревшей без наличия sitemap.xml.

Sitemap.html и Sitemap.xml – что это и чем различаются

Карта сайта в формате HTML представляет собой статическую страницу со ссылками на другие страницы ресурса. Для поисковых роботов это не имеет особой ценности, зато может помочь посетителям. Правда, только в том случае, если эти ссылки удобно структурированы, а также их не слишком много. Поэтому для обширных порталов лучше предусмотреть несколько уровней (категорий и подкатегорий), переход между которыми выполняется по клику.

Sitemap.xml – это, как было сказано выше, не страница, а файл со всеми адресами (URL), которые должны проиндексировать поисковые роботы Яндекса, Google и других систем. Пользы для посетителей сайта такой файл не несет, потому что они его даже не увидят, зато поможет поисковикам проиндексировать сайт более полно и быстро.

Как сделать карту сайта вручную

Такой способ создания Sitemap.xml подойдет тем, кто не доверяет генераторам, однако если ресурс большой (несколько сотен URL и более), без программ-генераторов не обойтись. Чтобы сделать XML карту сайта самостоятельно, создайте новый документ в текстовом редакторе (например, Notepad++), после чего задайте документу нужное разрешение (XML). Теперь можно приступать к оформлению (написание тегов, URL, команд).

Примеры таких документов есть в интернете, так что если вы не знаете, что и как прописывать, можно всё сделать по образцу. После завершения работы с документом поместите его в корневую папку сайта (как получить к ней доступ, описано выше) или в подкаталоги (ниже будет описано, зачем).

Особенности Sitemap.xml: 10 полезных рекомендаций от Google

Поисковые роботы не всегда работают оперативно, а доступ к некоторым страницам может быть затруднен, если на них нет ссылок с других страниц. Страницы, на которые не ссылаются, зачастую и вовсе не будут проиндексированы роботами без посторонней помощи. Поэтому грамотно составленный файл карты сайта решит эту проблему. Техническая поддержка Google рекомендует обратить внимание на следующие моменты:

1. Соблюдайте единый синтаксис при добавлении URL. Например, если правильный адрес www.google.com, то при указании “google.com” без “WWW” могут возникнуть проблемы с индексацией.
2. Учтите, что файл Sitemap.xml имеет лимит на количество URL – оно не должно превышать 50 тысяч. Если адресов больше, создается второй файл, затем третий и так далее – сколько потребуется. Ограничение по размеру тоже есть: оно составляет 50 мегабайт. При превышении этого размера создается следующий файл, иначе с индексацией страниц внутри документа могут возникнуть проблемы.
3. Обратите внимание на кодировку – только UTF-8. Она нужна для корректного отображения нелатинских символов. В самом файле XML должны быть только символы стандарта ASCII, но не расширенного ASCII, поэтому, например, «звездочки» (*) или фигурные скобки ({}) ставить нельзя. Также не забудьте про правильное экранирование URL и используйте соответствующие коды для преобразования символов (их можно найти в документации Google, посвященной оформлению файлов Sitemap.xml). Экранирование обычно выполняется с помощью скриптов или других инструментов, а корректность их работы можно проверить, посмотрев, соответствуют ли они стандартам XML, RFC-3986 и RFC-3987, принятым в Google.
4. Размещение файла XML в других папках (не корневой) приведет к тому, что адреса верхнего уровня (в том числе главная страница) не будут проиндексированы при сканировании карты. Однако такое размещение будет иметь смысл в случае разветвленных порталов с большим количеством страниц. В этом случае главный файл XML с указанием родительских страниц (например, для категорий и подкатегорий) можно разместить в корневом каталоге, а остальные – в папках нижних уровней.
5. Избегайте указания Session ID (идентификаторов сеансов) в документе, поскольку это приведет к слишком частому сканированию страниц поисковыми роботами, что может отрицательно сказаться на дальнейшей индексации ресурса.
6. Если вы администрируете двуязычный ресурс (или поддерживающий больше языков), пользуйтесь атрибутом hreflang для отметки страниц на второстепенных языках.
7. Sitemap должен содержать только канонические (canonical) адреса страниц. Заранее определите, какая версия той или иной страницы (если у вас несколько таких версий) должна быть представлена в поиске. Соответственно, в файле XML должна быть указана именно она. То же касается и версий сайта с WWW и без: разместите Sitemap в той, которую вы выбрали в качестве главной, а для другой настройте переадресацию или укажите атрибут rel=canonical для страниц второй версии.
8. При наличии отдельных URL у мобильной версии Google рекомендует добавлять в индекс только какую-то одну версию страниц, а другую (при необходимости индексации) сопровождать аннотациями.
9. Расширяйте синтаксис документа для добавления MIME-типов при индексации картинок, видеозаписей, новостных материалов.
10. В файле XML могут быть прописаны определенные команды для поисковых роботов (например, по частоте индексирования контента или приоритету индексации, то есть с указаниями, какие URL должны индексироваться первыми).

Кроме того, команда «Гугла» отмечает, что карты Sitemap не являются директивными, а представляют собой только рекомендации роботам, какие страницы администрация ресурса считает приоритетными для индексации. При этом сканирование файла производится роботами Google произвольно, то есть без учета порядка URL в документе.

Другие варианты создания карты сайта

XML и HTML не единственные форматы для создания такого документа. Владельцы блогов могут воспользоваться, например, форматами RSS и Atom, позволяющими создавать фиды, которые затем отправляются для индексации «Гуглу». Формат mRSS позволяет индексировать видеофайлы.

Есть возможность отправлять URL на индексацию и при помощи обычного текстового документа. В условиях здесь, как и обычно, кодировка (исключительно UTF-8), а также то, что, кроме адресов страниц, в таких файлах не должно содержаться никакой другой информации. Имя у документа может быть любым (не обязательно Sitemap), а вот расширение – строго TXT. Создание текстового файла удобно, когда требуется не прописать дополнительные команды и атрибуты, а только указать адреса страниц, направляемых на индексацию или переиндексацию.