Цифровой элемент
7 минут на чтение
9455
Отправь статью на почту?

Как найти и удалить дубли страниц на сайте

Дубль – страница, которая полностью или частично дублирует контент другой страницы. Одна из причин потери трафика из поисковых систем – наличие дублей страниц на сайте.

Подписаться

Дубль – страница, которая полностью или частично дублирует контент другой страницы. Одна из причин потери трафика из поисковых систем – наличие дублей страниц на сайте.

Принципы определения дублей поисковыми системами

Поисковые системы (далее «ПС») имеют свои алгоритмы проверки и определения дублей страниц.

Основные параметры, которые учитывают ПС при определении дублей:

  1. Мета-теги;
  2. Заголовки H1-H6;
  3. Текст страницы.

Способы определения дублей страниц на сайте

Статус «Дубль» присваивается поисковым роботом соответствующей поисковой системы при сканировании страниц сайта. Воспользуйтесь Вебмастерами поисковых систем, чтобы определить наличие дублей. Или воспользуйтесь специализированными программами для ручного поиска дублей.

Способ 1: Дубли страниц в Яндекс.Вебмастер

В поисковой системе Яндекс увидеть дубли страниц можно в Яндекс.Вебмастер, в разделе Индексирование → Страницы в поиске → Исключенные страницы → Статус «Дубль».

Дубли страниц в Яндекс.Вебмастер
Дубли страниц в Яндекс.Вебмастер

Способ 2: Дубли страниц в Google Search Console

В поисковой системе Google увидеть дубли страниц можно в Google Search Console, в разделе «Покрытие» → «Исключено».

Дубли страниц в Google Search Console
Дубли страниц в Google Search Console

Способ 3: Через программы для комплексного анализа сайтов

Поисковые системы не всегда корректно распознают дубли. Используя различные программы сканирования сайтов можно определить наличие дублей на сайте. Например, программа Screaming Frog позволяет это сделать.

Чтобы найти дубли с помощью Screaming Frog используйте те же самые основные параметры поиска:

  1. Поиск одинаковых Title. Вкладка «Page Titles» → Filter «Duplicate»
    Поиск одинаковых Title
    Список страниц с одинаковыми Title в программе Screaming Frog
  2. Одинаковые заголовки H1, H2. Вкладка «H1» или «H2» → Filter «Duplicate»
    Одинаковые заголовки H1, H2
    Список страниц с одинаковыми H1 в программе Screaming Frog

Подобным образом можно найти дубли во вкладке Description, H2.

Способ 4: Ручной поиск – проверка типичных ошибок

Дубли сайта формируются на основании технических особенностей систем, на которых пишутся сайты.

Основные ручные проверки, которые необходимо провести:

  1. Доступность страницы с добавлением index.php / index.html / index.htm для каждой страницы после слеша. Например, есть страница https://site.ru, нужно проверить доступность страницы по адресам:
    1. https://site.ru/index.php
    2. https://site.ru/index.html
    3. https://site.ru/index.htm
  2. Доступность страницы по HTTP и HTTPS страницы: https://site.ru и http://site.ru. Если страница доступна по разным протоколам, то необходимо настроить 301 редирект с HTTP на HTTPS
  3. Доступность страницы по разным зеркалам. Адреса с «www» и без «www»:
    1. http://site.ru
    2. http://www.site.ru
  4. Доступность страницы с разным регистром в URL:
    1. http://site.ru/example/
    2. http://site.ru/EXAMPLE/
  5. Доступность одной и той же страницы по разным URL:
    1. http://site.ru/catalog/tovar1/
    2. http://site.ru/tovar1/
  6. Доступность страницы со слешами («/», «//», «///») и без них в конце:
    1. http://site.ru/example
    2. http://site.ru/example//
    3. http://site.ru///example/
  7. Доступность страницы-дубля через пагинацию:
    1. http://site.ru/catalog/
    2. http://site.ru/catalog/page1

Как избавиться от дублей страниц

  • Установить тег canonical. Установить тег в head: link rel="canonical" href="ссылка на каноничную страницу";
  • Изменить контент страницы. Изменить мета-теги, заголовки h1-h6, текст, учитывая особенности контента, расположенного на странице. Используйте в случае необходимости индексирования страницы-дубля;
  • Удалить страницу;
  • Установить 301 редирект с дубля на оригинальную страницу. Попадая на страницу дубль, пользователь будет переадресован на нужную страницу;
  • Запретить индексирование в robots.txt. Указать поисковому роботу, что добавлять в индекс такие страницы не нужно;
  • Установить мета-тег noindex. Добавить в head: meta name="robots" content="noindex".

Влияние дублей страниц на поисковое продвижение

  1. Любой поисковая система имеет лимит на сканирование страниц для одного сайта. При появлении дублей, увеличивается общее количество страниц на сайте. При большом количестве страниц-дублей, поисковой робот может вовсе пропустить важные страницы;
  2. Изменение релевантности страницы. Поисковой робот может решить, что страница-дубль отвечает на запрос лучше, чем оригинальная страница и в поисковой выдаче будет показывать страницу-дубль;
  3. Потеря ссылочной массы оригинальной страницы и посетители станут попадать на страницы-дубли.
Мне не нравится
Россия, Челябинская область, Челябинск, ул. Энтузиастов, 2, оф. 200 Телефон: +7 (351) 220-45-35

Читайте в нашем блоге

Все статьи
Перенос сайта на CMS 1С‑Битрикс

Перенос сайта на CMS 1С‑Битрикс

Сегодня сайты стали не просто визитками в интернете, а полноценными инструментами для бизнеса, общения и обмена информацией. Но технологии не с...

01.07.2025
3
Настройка прав доступа в Битрикс24

Настройка прав доступа в Битрикс24

Права доступа в Битрикс24 — это механизм,...

26.06.2025
164
Как войти в Битрикс24

Как войти в Битрикс24

Битрикс24 — это популярная CRM-система для...

19.06.2025
578
Новый Битрикс24 «Невесомость»: обзор новинок

Новый Битрикс24 «Невесомость»: обзор новинок

Компания 1С-Битрикс совершила качественный скачок в развитии своей платформы, представив масштабное обновление - вышел Новы...

16.05.2025
813
Как начать работать в Битрикс24

Как начать работать в Битрикс24

Битрикс24 — это платформа, объединяющая все нео...

14.05.2025
793
Как ускорить скорость загрузки сайта? Гайд по оптимизации

Как ускорить скорость загрузки сайта? Гайд по оптимизации

Скорость загрузки страниц — один из ключевых факторов, влияющих на успех сайта в интернете. Она влияет на пользовательский опыт, конверсию и SE...

30.04.2025
1331
Как повысить качество кода: инструменты для автоматизации

Как повысить качество кода: инструменты для автоматизации

Программирование — это искусство. Каждый разработчик, вооружённый своими знаниями, внутренними стандартами и установленными дедлайнами, создает...

16.04.2025
974