Цифровой элемент
7 минут на чтение Отправь статью на почту?

Как найти и удалить дубли страниц на сайте

Дубль – страница, которая полностью или частично дублирует контент другой страницы. Одна из причин потери трафика из поисковых систем – наличие дублей страниц на сайте.

Подписаться
3698

Дубль – страница, которая полностью или частично дублирует контент другой страницы. Одна из причин потери трафика из поисковых систем – наличие дублей страниц на сайте.

Принципы определения дублей поисковыми системами

Поисковые системы (далее «ПС») имеют свои алгоритмы проверки и определения дублей страниц.

Основные параметры, которые учитывают ПС при определении дублей:

  1. Мета-теги;
  2. Заголовки H1-H6;
  3. Текст страницы.

Способы определения дублей страниц на сайте

Статус «Дубль» присваивается поисковым роботом соответствующей поисковой системы при сканировании страниц сайта. Воспользуйтесь Вебмастерами поисковых систем, чтобы определить наличие дублей. Или воспользуйтесь специализированными программами для ручного поиска дублей.

Способ 1: Дубли страниц в Яндекс.Вебмастер

В поисковой системе Яндекс увидеть дубли страниц можно в Яндекс.Вебмастер, в разделе Индексирование → Страницы в поиске → Исключенные страницы → Статус «Дубль».

Дубли страниц в Яндекс.Вебмастер
Дубли страниц в Яндекс.Вебмастер

Способ 2: Дубли страниц в Google Search Console

В поисковой системе Google увидеть дубли страниц можно в Google Search Console, в разделе «Покрытие» → «Исключено».

Дубли страниц в Google Search Console
Дубли страниц в Google Search Console

Способ 3: Через программы для комплексного анализа сайтов

Поисковые системы не всегда корректно распознают дубли. Используя различные программы сканирования сайтов можно определить наличие дублей на сайте. Например, программа Screaming Frog позволяет это сделать.

Чтобы найти дубли с помощью Screaming Frog используйте те же самые основные параметры поиска:

  1. Поиск одинаковых Title. Вкладка «Page Titles» → Filter «Duplicate»
    Поиск одинаковых Title
    Список страниц с одинаковыми Title в программе Screaming Frog
  2. Одинаковые заголовки H1, H2. Вкладка «H1» или «H2» → Filter «Duplicate»
    Одинаковые заголовки H1, H2
    Список страниц с одинаковыми H1 в программе Screaming Frog

Подобным образом можно найти дубли во вкладке Description, H2.

Способ 4: Ручной поиск – проверка типичных ошибок

Дубли сайта формируются на основании технических особенностей систем, на которых пишутся сайты.

Основные ручные проверки, которые необходимо провести:

  1. Доступность страницы с добавлением index.php / index.html / index.htm для каждой страницы после слеша. Например, есть страница https://site.ru, нужно проверить доступность страницы по адресам:
    1. https://site.ru/index.php
    2. https://site.ru/index.html
    3. https://site.ru/index.htm
  2. Доступность страницы по HTTP и HTTPS страницы: https://site.ru и http://site.ru. Если страница доступна по разным протоколам, то необходимо настроить 301 редирект с HTTP на HTTPS
  3. Доступность страницы по разным зеркалам. Адреса с «www» и без «www»:
    1. http://site.ru
    2. http://www.site.ru
  4. Доступность страницы с разным регистром в URL:
    1. http://site.ru/example/
    2. http://site.ru/EXAMPLE/
  5. Доступность одной и той же страницы по разным URL:
    1. http://site.ru/catalog/tovar1/
    2. http://site.ru/tovar1/
  6. Доступность страницы со слешами («/», «//», «///») и без них в конце:
    1. http://site.ru/example
    2. http://site.ru/example//
    3. http://site.ru///example/
  7. Доступность страницы-дубля через пагинацию:
    1. http://site.ru/catalog/
    2. http://site.ru/catalog/page1

Как избавиться от дублей страниц

  • Установить тег canonical. Установить тег в head: link rel="canonical" href="ссылка на каноничную страницу";
  • Изменить контент страницы. Изменить мета-теги, заголовки h1-h6, текст, учитывая особенности контента, расположенного на странице. Используйте в случае необходимости индексирования страницы-дубля;
  • Удалить страницу;
  • Установить 301 редирект с дубля на оригинальную страницу. Попадая на страницу дубль, пользователь будет переадресован на нужную страницу;
  • Запретить индексирование в robots.txt. Указать поисковому роботу, что добавлять в индекс такие страницы не нужно;
  • Установить мета-тег noindex. Добавить в head: meta name="robots" content="noindex".

Влияние дублей страниц на поисковое продвижение

  1. Любой поисковая система имеет лимит на сканирование страниц для одного сайта. При появлении дублей, увеличивается общее количество страниц на сайте. При большом количестве страниц-дублей, поисковой робот может вовсе пропустить важные страницы;
  2. Изменение релевантности страницы. Поисковой робот может решить, что страница-дубль отвечает на запрос лучше, чем оригинальная страница и в поисковой выдаче будет показывать страницу-дубль;
  3. Потеря ссылочной массы оригинальной страницы и посетители станут попадать на страницы-дубли.
Мне не нравится
Россия, Челябинская область, Челябинск, ул. Энтузиастов, 2, оф. 200 Телефон: +7 (351) 220-45-35

Блог

Микроразметка schema.org
Микроразметка schema.org

Schema.org – микроразметка, позволяющая структурировать данные на сайте для поисковых систем. С ее помощью поисковые системы понимают, какие данные...

28 мая 2019
96660
TОП-40 плагинов Figma
TОП-40 плагинов Figma

Для создания дизайнов и прототипов большинство современных дизайнеров использует Figma. Его основное преимущество перед другими графическими прогр...

11 марта 2021
95846
Как попасть на Яндекс.Карты, Google.Карты, 2GIS
Как попасть на Яндекс.Карты, Google.Карты, 2GIS

Если ваша компания ведет бизнес офлайн, размещение на Яндекс.Картах и Google и 2GIS поможет рассказать об этом потенциальным клиентам. Присутствие...

17 июля 2019
92082
404 ошибка – страница не найдена
404 ошибка – страница не найдена

404 ошибка (страница не найдена) – это ответ сервера, который возникает, когда сервер не может отобразить запрашиваемую страницу по указанному адре...

13 августа 2019
40173
Семантика сайта
Семантика сайта

Семантическое ядро – это набор фраз, соответствующих поисковым запросам пользователей в поисковых системах, которые характеризуют определенную тема...

21 октября 2019
17815
Как предоставить гостевой доступ к Яндекс Директ и Google Adwords
Как предоставить гостевой доступ к Яндекс Директ и Google Adwords

Контекстная реклама — один из самых простых и быстрых способов увеличения посещений веб-сайта. Особенностью этого инструмента является понятность р...

19 января 2021
13792
Как составить ТЗ на разработку сайта
Как составить ТЗ на разработку сайта

ТЗ (техническое задание) – очень полезный документ, в котором описаны все разделы сайта, все элементы страницы и функциональность всех модулей. Пол...

14 мая 2021
12868
Микроразметка Open Graph
Микроразметка Open Graph

Open Graph – стандарт микроразметки, который позволяет формировать превью сайта при публикации в социальных сетях. Стандарт Open Graph был р...

5 ноября 2019
10623
Сброс кеша DNS в Google Chrome
Сброс кеша DNS в Google Chrome

Для сброса кеша DNS в Google Chrome: Введите в адресной строке браузера chrome://net-internals/#dns и нажмите кнопку Clear host cache; Зат...

31 января 2020
9676
Анализ сайта с помощью Яндекс.Метрики
Анализ сайта с помощью Яндекс.Метрики

Яндекс.Метрика – инструмент анализа аудитории сайта. Метрика позволяет сегментировать данные, определять целевую аудиторию сайта, достигать целей и...

20 декабря 2019
8959
Золотой партнер<br>1С-Битрикс
Золотой партнер
1С-Битрикс
Сертифицированное агентство <br>Яндекс.Директ
Сертифицированное агентство
Яндекс.Директ
Сертифицированное агентство <br>Google.AdWords
Сертифицированное агентство
Google.AdWords
Региональный партнер <br>Ru-center
Региональный партнер
Ru-center
Золотой партнер  <br>Битрикс24
Золотой партнер
Битрикс24
Отправьте нам сообщение