Как создать и настроить XML карту сайта

XML карта сайта (обычно sitemap.xml) – это файл формата XML, который содержит все важные страницы сайта для поискового робота.

sitemap.xml используется только поисковыми роботами для корректной индексации в поисковых системах.

В каких случаях нужен Sitemap

Подробно об этом можно прочитать в официальных статьях Яндекс и Google. Если кратко, то XML карта нужна, если на сайте:

Много страниц. Поисковые роботы могут пропустить недавно созданные или измененные страницы;
Неоднозначная перелинковка страниц. Ссылка на страницу может быть пропущена роботом, если она указана в скрытом месте или доступна только после определенного события;
Отдельные страницы без навигационных ссылок. Нет возможности узнать о странице, на которую не ведут ссылки сайта;
Глубокая вложенность. Каждая поисковая система имеет лимит на сканирование страниц, поэтому поисковой робот может вовсе пропустить важные страницы. Особенно, если это подкрепляется неоднозначной перелинковкой страниц.

Для успешного сканирования всех ссылок поисковым роботом необходимо перечислить все ссылки в XML карте сайта.

В каких случаях Sitemap не требуется

Сайт имеет меньше 500 страниц;
На сайте реализована детальная система внутренних ссылок (перелинковка страниц);
На сайте все страницы доступны из навигации сайта.

Поисковые системы все же рекомендуют создавать карту сайта несмотря на отсутствие причин в её необходимости.

Зачем нужна XML карта сайта

Карта сайта нужна для корректного сканирования сайта поисковыми роботами и последующей индексации страниц в поисковых системах.

XML карта дает поисковому роботу:

Список страниц сайта;
Приоритетность страниц для сканирования. Поисковой робот сначала будет сканировать наиболее приоритетные страницы;
Дата изменения страниц. Поисковой робот пропускает страницы, которые не были изменены после очередного прохода сканирования;
Вероятная частота изменения страниц. Это подсказка для поисковых систем для понимания ориентировочного повторного сканирования страницы.

Таким образом, поисковая система понимает, когда и как нужно сканировать ваш сайт.

Описание тегов XML карты

Тег	Обязательный	Описание
`<urlset>`	Да	Инкапсулирует файл карты и указывает стандарт текущего протокола.
`<url>`	Да	Родительский тег для каждой записи URL-адреса. Остальные теги являются дочерними для этого тега.
`<loc>`	Да	Содержит полную ссылку на страницу сайта. Ссылка должна быть каноничной и относится к главному зеркалу сайта.
`<lastmod>`	Нет	Содержит дату последнего обновления страницы в формате UTC. Например, 2020-05-12, где 12 – день, 5 – месяц, 2020 – год.
`<changefreq>`	Нет	Содержит частоту изменения страницы. Может принимать значения: always hourly daily weekly monthly yearly never Значение этого тега используется как подсказка для поискового робота, а не как команда. Обычно используется значение weekly, т.к. большинство сайтов имеют изменения только спустя неделю.
`<priority>`	Нет	Приоритет URL относительно других URL. Может принимать значения от 0,0 до 1,0. Следует учитывать, что назначать высокий приоритет всем URL не имеет смысла. Приоритет – величина относительная, параметр используется определения очередности обработки URL в пределах сайта. Приоритет не влияет на позиции в поисковых система.
`<xhtml:link>`	Нет	Используется для указания альтернативных страниц на других языках. Например, `<xhtml:link rel="alternate" hreflang="de" href="http://www.example.com/deutsch/page.html">`. Подробнее на официальной странице Google.
`<image:loc>`	Нет	Дочерний элемент тега <image:image>. Используется для указания полной ссылки на изображение.
`<image:title>`	Нет	Дочерний элемент тега <image:image>. Используется для описания того, что изображено на картинке.

Виды XML карты сайта

Существует 3 вида XML карты сайта.

1. Единый файл, хранящий список страниц. Все ссылки сайта перечислены в одном файле.

Пример файла sitemap.xml:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
  <loc>http://www.example.ru/page1.html</loc>
  <lastmod>2020-04-13</lastmod>
  <changefreq>monthly</changefreq>
  <priority>0.8</priority>
</url>
<url>
  <loc>http://www.example.ru/page2.html</loc>
  <lastmod>2020-04-13</lastmod>
  <changefreq>monthly</changefreq>
  <priority>0.6</priority>
</url>
...

Пример такой карты можно увидеть по ссылке: https://d-element.ru/sitemap.xml.

2. Файл индекса других XML карт сайта. Все ссылки сайта перечислены в нескольких файлах XML.

Пример файла sitemap.xml:

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>http://www.example.ru/sitemap_pages1.xml</loc>
    <lastmod>2020-04-13</lastmod>
  </sitemap>
  <sitemap>
    <loc>http://www.example.ru/sitemap_pages2.xml</loc>
    <lastmod>2020-04-13</lastmod>
   </sitemap>
    ...
   <sitemap>
</sitemapindex>

То есть, файл sitemap.xml уже содержит другие карты сайта XML, которые содержат конкретные ссылки сайта (как показано на примере 1 вида). Используется для разделения большого списка URL страниц. Максимальное количество ссылок в одном файле xml – 50 000. Актуально для интернет-магазинов, которые имеют большой ассортимент.

Пример такой карты можно увидеть по ссылке: https://uralmufta.ru/sitemap.xml.

3. Единый файл, хранящий список страниц и изображения, размещенные на них. Файл строится по принципу 1 вида, но добавляются теги разметки изображений.

Пример файла sitemap.xml:

<?xml version="1.0" encoding="utf-8"?> 
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:image="http://www.google.com/schemas/sitemap-image/1.1" xmlns:xhtml="http://www.w3.org/1999/xhtml">
<url>
  <loc>http://www.example.ru/</loc>
  <lastmod>2020-04-13</lastmod>
  <changefreq>monthly</changefreq>
  <priority>1</priority>
  <image:image>
     <image:loc>http://www.example.ru/image1.png</image:loc>
     <image:title>Портрет «Любовь и мир»</image:title>
  </image:image>
  <image:image>
    <image:loc>http://www.example.ru/image2.png</image:loc>
    <image:title>Портрет «Вечность и бесконечность»</image:title>
  </image:image>
  ...
</url>

Этот вид наиболее подробный из всех. Его можно комбинировать вместе со 2 видом.

Пример такой карты можно увидеть по ссылке: https://моймастер74.рф/sitemap.xml.

Как создать XML карту сайта

Создать карту сайта можно:

Вручную;
С помощью готового онлайн сервиса (например, https://www.xml-sitemaps.com);
С помощью внутренних средств CMS, на которой разработан сайт;
Через готовые модули CMS системы, на которой разработан сайт. Если ваш сайт на CMS WordPress, воспользуйтесь плагином Google XML Sitemaps;
Через отдельный скрипт. Обычно метод используется для включения в карту сайта страниц, которые не учитываются CMS, плагинами и онлайн сервисами.

Требования к XML карте сайта

Кодировка файла должна быть в UTF-8;
Максимальное количество ссылок в одном файле XML – 50 000;
Максимальный размер несжатого файла – 50 МБ (если используются PDF, DOCX и др. документы);
Ссылки должны соответствовать домену и главному зеркалу сайта;
При обращении к файлу сервер должен возвращать 200 HTTP код. Проверить это можно с помощью сервиса Яндекса.

Как узнать есть ли ошибки в XML карте сайта?

Для относительно маленького размера карты используется ручная проверка карты сайта на наличие ошибок в ней. Если XML карта огромная, что затрудняет её ручную проверку, можно воспользоваться программой Screaming Frog для поиска проблем в карте сайта.

Поиск ошибок с помощью программы Screaming Frog

Сканирование через Screaming frog позволяет сканировать любые виды карт XML, в том числе вложенные.

1. Откройте программу Screaming frog.

2. Выберите тип сканирования Mode → List как показано ниже.

Выбор мода сканирования в Screaming Frog

3. Нажмите кнопку Upload → Download XML Sitemap, введите ссылку на XML карту и нажмите ОК.

В более ранних версиях можно встретить 2 кнопки выбора сканирования: одна для единой XML карты, другая для индекса XML карты (2 вид со вложенностью).

Добавление XML карты в поисковые системы

Для уведомления поисковых систем, что на вашем сайте появилась карта сайта, мало добавить карту в корень сайта. Необходимо также указать карту сайта в файле robots.txt (пример: https://d-element.ru/robots.txt) и добавить её в Яндекс.Вебмастер (для Яндекса) и Google Search Console (для Google).

1. Добавление XML карты для Яндекса