Как найти и удалить дубли страниц на сайте

Дубль – страница, которая полностью или частично дублирует контент другой страницы. Одна из причин потери трафика из поисковых систем – наличие дублей страниц на сайте.

Принципы определения дублей поисковыми системами

Поисковые системы (далее «ПС») имеют свои алгоритмы проверки и определения дублей страниц.

Основные параметры, которые учитывают ПС при определении дублей:

1. Мета-теги;
2. Заголовки H1-H6;
3. Текст страницы.

Способы определения дублей страниц на сайте

Статус «Дубль» присваивается поисковым роботом соответствующей поисковой системы при сканировании страниц сайта. Воспользуйтесь Вебмастерами поисковых систем, чтобы определить наличие дублей. Или воспользуйтесь специализированными программами для ручного поиска дублей.

Способ 1: Дубли страниц в Яндекс.Вебмастер

В поисковой системе Яндекс увидеть дубли страниц можно в Яндекс.Вебмастер, в разделе Индексирование → Страницы в поиске → Исключенные страницы → Статус «Дубль».

Способ 2: Дубли страниц в Google Search Console

В поисковой системе Google увидеть дубли страниц можно в Google Search Console, в разделе «Покрытие» → «Исключено».

Способ 3: Через программы для комплексного анализа сайтов

Поисковые системы не всегда корректно распознают дубли. Используя различные программы сканирования сайтов можно определить наличие дублей на сайте. Например, программа Screaming Frog позволяет это сделать.

Чтобы найти дубли с помощью Screaming Frog используйте те же самые основные параметры поиска:

1. Поиск одинаковых Title. Вкладка «Page Titles» → Filter «Duplicate»
   

   

2. Одинаковые заголовки H1, H2. Вкладка «H1» или «H2» → Filter «Duplicate»
   

   

Подобным образом можно найти дубли во вкладке Description, H2.

Способ 4: Ручной поиск – проверка типичных ошибок

Дубли сайта формируются на основании технических особенностей систем, на которых пишутся сайты.

Основные ручные проверки, которые необходимо провести:

1. Доступность страницы с добавлением index.php / index.html / index.htm для каждой страницы после слеша. Например, есть страница https://site.ru, нужно проверить доступность страницы по адресам:
   1. https://site.ru/index.php
   2. https://site.ru/index.html
   3. https://site.ru/index.htm
2. Доступность страницы по HTTP и HTTPS страницы: https://site.ru и http://site.ru. Если страница доступна по разным протоколам, то необходимо настроить 301 редирект с HTTP на HTTPS
3. Доступность страницы по разным зеркалам. Адреса с «www» и без «www»:
   1. http://site.ru
   2. http://www.site.ru
4. Доступность страницы с разным регистром в URL:
   1. http://site.ru/example/
   2. http://site.ru/EXAMPLE/
5. Доступность одной и той же страницы по разным URL:
   1. http://site.ru/catalog/tovar1/
   2. http://site.ru/tovar1/
6. Доступность страницы со слешами («/», «//», «///») и без них в конце:
   1. http://site.ru/example
   2. http://site.ru/example//
   3. http://site.ru///example/
7. Доступность страницы-дубля через пагинацию:
   1. http://site.ru/catalog/
   2. http://site.ru/catalog/page1

Как избавиться от дублей страниц

• Установить тег canonical. Установить тег в head: link rel="canonical" href="ссылка на каноничную страницу";
• Изменить контент страницы. Изменить мета-теги, заголовки h1-h6, текст, учитывая особенности контента, расположенного на странице. Используйте в случае необходимости индексирования страницы-дубля;
• Удалить страницу;
• Установить 301 редирект с дубля на оригинальную страницу. Попадая на страницу дубль, пользователь будет переадресован на нужную страницу;
• Запретить индексирование в robots.txt. Указать поисковому роботу, что добавлять в индекс такие страницы не нужно;
• Установить мета-тег noindex. Добавить в head: meta name="robots" content="noindex".

Влияние дублей страниц на поисковое продвижение

1. Любой поисковая система имеет лимит на сканирование страниц для одного сайта. При появлении дублей, увеличивается общее количество страниц на сайте. При большом количестве страниц-дублей, поисковой робот может вовсе пропустить важные страницы;
2. Изменение релевантности страницы. Поисковой робот может решить, что страница-дубль отвечает на запрос лучше, чем оригинальная страница и в поисковой выдаче будет показывать страницу-дубль;
3. Потеря ссылочной массы оригинальной страницы и посетители станут попадать на страницы-дубли.