Интеллектуальный поиск для 1С-Битрикс: новое поколение поиска по сайту

Оглавление

Поиск на сайте кажется простой функцией, пока пользователь вводит название именно так, как оно записано в каталоге.

На практике всё иначе. Покупатель может пропустить букву, переставить символы местами, написать техническое обозначение без дефиса, использовать другую словоформу или привычное разговорное название. Кто-то вводит 5W30 вместо 5W-30, кто-то ищет «синтетику» вместо «синтетического масла», а кто-то помнит только несколько слов из длинного названия товара.

Если поиск требует полного совпадения, часть таких запросов заканчивается пустой или нерелевантной выдачей — хотя нужный товар на сайте есть.

Для решения этой задачи мы разработали новое поколение модуля «Интеллектуальный поиск» для сайтов на 1С-Битрикс. Он помогает обрабатывать неточные пользовательские запросы, учитывать особенности товарных наименований и терминологии бизнеса и формировать более релевантную поисковую выдачу.

Мы занимаемся интеллектуальным поиском для 1С-Битрикс с 2019 года

Первый собственный модуль нечёткого поиска для 1С-Битрикс мы разработали ещё в 2019 году.

На тот момент возможность найти товар при опечатке, неправильной раскладке клавиатуры или другом варианте написания была далеко не стандартным требованием для сайтов на 1С-Битрикс. Наш первый модуль расширял возможности штатного поиска и позволял корректировать распространённые ошибки пользователей.

Решение оказалось востребованным и развивалось вместе с реальными проектами.

Но за семь лет изменились и сайты, и каталоги, и ожидания пользователей. Современный поиск должен уметь значительно больше, чем просто исправлять одну ошибку в слове.

Поэтому мы разработали новое поколение решения — delement.smartsearch.

Пользователь не обязан знать, как товар называется в базе

Это один из основных принципов нового поиска.

Представим товар:

TEBOIL DIAMOND PROFESSIONAL A5/B5 5W-30

Редкий пользователь будет каждый раз вводить это название полностью и безошибочно. На практике запрос может выглядеть так:

• A5/B5 5W30;
• diamond professional 5w30;
• A5B5 5W30;
• с лишними пробелами;
• с ошибкой в одном из слов;
• только по части модели или характеристики.

Задача хорошего поиска — не заставлять пользователя подстраиваться под структуру каталога, а помочь ему добраться до нужного материала по тем данным, которые он помнит.

Именно на это ориентирован «Интеллектуальный поиск».

Какие запросы понимает модуль

В ходе разработки мы отдельно проверяем десятки различных пользовательских сценариев: от обычного поиска до технических обозначений, опечаток, словоформ и синонимов.

Вот несколько характерных примеров.

Пользователь вводит	Что должен найти поиск
A5/B5 5W30	товар с обозначением A5/B5 5W-30
TEBOIL XLD3 10W40	TEBOIL SUPER XLD-3 10W-40
TEBOIL MTFV 75W80	TEBOIL GEAR MTF-V 75W-80
TEBOIL FLUID FD1	TEBOIL FLUID FD-1
A3B4 5W40	товар с обозначением A3/B4 5W-40
Hydraulic Oil 46ZF	Hydraulic Oil 46 ZF
мосло	результаты по слову «масло»
малсо	результаты по слову «масло»
ситетическое	результаты по слову «синтетическое»
fully synthetic	товары, связанные с понятием «синтетическое масло»

Это не означает, что система произвольно «угадывает» любое введённое слово. Напротив, для нас было важно ограничивать нечёткий поиск так, чтобы исправление опечаток не приводило к большому количеству случайных совпадений.

Поиск с учётом опечаток

Одна из базовых возможностей решения — работа с типичными ошибками при вводе.

Модуль учитывает ситуации, когда пользователь:

• заменил одну букву другой;
• пропустил букву;
• ввёл лишнюю букву;
• переставил соседние символы.

Например:

мосло → масло
малсо → масло
ситетическое → синтетическое

Для коротких слов поиск работает осторожнее, поскольку даже небольшое изменение может полностью изменить смысл запроса. Для более длинных слов допустима большая степень неточности.

Такой подход позволяет одновременно решать две задачи: помогать пользователю при очевидной ошибке и не заполнять выдачу нерелевантными результатами.

Поиск по артикулам, моделям и техническим обозначениям

Для интернет-магазинов, B2B-порталов и технических каталогов обычного поиска по словам часто недостаточно.

В названиях товаров встречаются 5W-30, A5/B5, XLD-3, MTF-V, FD-1, TO-4, C3 VWC и множество других обозначений.

Пользователь при этом может написать 5W30 вместо 5W-30 или MTFV вместо MTF-V.

Для человека очевидно, что речь идёт об одном обозначении. Для простого текстового поиска это могут быть совершенно разные запросы.

«Интеллектуальный поиск» учитывает такие варианты написания. Это особенно важно для каталогов автокомпонентов, масел, оборудования, электроники, запчастей, промышленной продукции и любых других товаров с артикулами и сложными моделями.

При внедрении можно определить, какие дополнительные данные элемента должны участвовать в поиске: например, артикулы, характеристики или специальные поисковые фразы.

Нормализация пользовательского запроса

Пользователи редко задумываются о том, как поисковая система будет интерпретировать введённую строку.

Они могут написать DIAMOND PROFESSIONAL 5W30 или поставить несколько лишних пробелов, использовать смешанный регистр, добавить запятую или случайный символ.

Поэтому перед поиском запрос приводится к форме, удобной для обработки.

Решение учитывает:

• верхний и нижний регистр;
• лишние пробелы;
• пробелы в начале и конце строки;
• знаки препинания;
• специальные символы;
• особенности использования дефисов;
• составные запросы из нескольких слов.

Пользователь занимается поиском товара, а не соблюдением синтаксиса поисковой системы.

Работа со словоформами

Одно и то же понятие на русском языке может встречаться в разных формах:

масло — масла — масел
моторное — моторные — моторных

Если в карточке товара используется одна форма, а пользователь ввёл другую, это не должно становиться причиной отсутствия результата.

Новый модуль учитывает базовые русские словоформы и позволяет находить материалы независимо от конкретного падежа или числа слова.

При этом мы намеренно не называем это полноценным лингвистическим или семантическим анализом русского языка. Задача решения практическая: повысить качество поиска по наиболее распространённым пользовательским сценариям без подключения отдельной внешней поисковой системы.

Синонимы, профессиональные термины и язык покупателей

Особенно интересная возможность нового поиска — собственный управляемый словарь.

В реальной жизни название товара в каталоге и название, которым пользуется покупатель, далеко не всегда совпадают.

Например, «синтетическое масло» могут искать как «синтетика» или fully synthetic.

Трансмиссионное масло пользователь может назвать «трансмиссионкой», а в профессиональном B2B-каталоге вообще могут использоваться отраслевые сокращения, внутренние названия и специфическая терминология.

Администратор сайта может добавлять такие связи в словарь поиска без изменения самого алгоритма.

Это позволяет адаптировать решение под конкретную отрасль:

• автомобильные масла и запчасти;
• промышленное оборудование;
• медицина;
• строительные материалы;
• электроника;
• B2B-каталоги;
• базы технической документации;
• корпоративные порталы.

Точные фразы в кавычках

Иногда пользователю нужен не широкий поиск по нескольким словам, а конкретное словосочетание.

Для этого поддерживается поиск точной фразы:

"моторное масло"

В этом случае словосочетание воспринимается как единая фраза и получает более высокий приоритет при ранжировании.

При этом к запросу можно добавлять и обычные слова:

"моторное масло" синтетика

Точная фраза и остальные части запроса обрабатываются совместно.

Если пользователь случайно открыл кавычки и не закрыл их, поиск не должен завершаться технической ошибкой — запрос обрабатывается как обычный текст.

Стоп-слова не должны мешать поиску

В пользовательском запросе могут встречаться слова, которые практически не влияют на его смысл: и, в, на, по, для, из, без и другие.

При необходимости такие слова можно исключать из обычного поиска, оставляя только значимые части запроса.

При этом внутри точной фразы их можно сохранить.

Например, запрос без масла и запрос "без масла" могут обрабатываться по-разному, потому что во втором случае пользователь явно указал, что ищет конкретное словосочетание.

Список стоп-слов настраивается и может быть адаптирован под особенности конкретного проекта.

«Возможно, вы искали…»

Иногда автоматически исправлять запрос не стоит.

Например, пользователь ввёл редкое название продукта, марку или код, который похож на другое слово. Если поисковая система сама заменит его на более распространённый вариант, она может только ухудшить результат.

Поэтому в новом решении предусмотрен более аккуратный сценарий.

Если результатов мало и система обнаруживает достаточно уверенный вариант исправления, пользователю можно показать:

Возможно, вы искали: синтетические масла для автомобилей

Исправленный запрос становится ссылкой. Пользователь сам решает, перейти по нему или оставить исходную выдачу.

Если уверенного варианта нет, подсказка не показывается вообще.

Так поиск помогает пользователю, но не пытается угадывать любой запрос любой ценой.

Релевантность важнее количества найденных совпадений

Найти двадцать документов, содержащих нужное слово, недостаточно.

Главный вопрос — в каком порядке их показать.

Новый «Интеллектуальный поиск» учитывает характер совпадения и старается поднимать наиболее подходящие результаты выше.

В общем виде приоритет выглядит так:

точное совпадение → наиболее полное совпадение запроса → близкое совпадение → отдельные значимые слова → словоформы → синонимы

Совпадение непосредственно в названии также должно быть значимее случайного упоминания внутри большого текста.

Например, если пользователь ищет «Синтетическое моторное масло», товар, максимально точно соответствующий всей фразе, должен находиться выше материала, в котором отдельно встречаются только слова «моторное» и «масло».

Поиск по синонимам и словоформам расширяет выдачу, но не должен вытеснять точный результат.

Именно собственные правила релевантности являются одним из главных отличий нового поколения решения.

Поиск сразу по разным типам контента

На современном сайте пользователь может искать не только товары.

На одном проекте могут одновременно существовать:

• каталог;
• новости;
• статьи;
• акции;
• документы;
• инструкции;
• услуги;
• обычные информационные страницы.

Показывать всё одной длинной лентой не всегда удобно.

Поэтому результаты можно разделить на смысловые группы.

Товары
Статьи и новости
Другие материалы

Если в определённой группе ничего не найдено, пустой раздел просто не показывается.

Состав групп и участвующего в поиске контента может адаптироваться под конкретный проект.

Это делает модуль применимым не только для интернет-магазинов, но и для крупных корпоративных сайтов и информационных порталов.

Можно управлять тем, что именно участвует в поиске

Не весь контент сайта одинаково полезен в выдаче.

Например, техническая страница, системный раздел или малозначимая информационная страница может содержать нужное слово, но пользователю она практически никогда не нужна.

Поэтому состав поискового контента можно ограничивать.

При настройке определяется:

• какие разделы участвуют в поиске;
• какие инфоблоки используются;
• какие свойства и данные элементов учитывать;
• какие обычные страницы разрешено показывать;
• какие дополнительные поисковые фразы использовать.

Это особенно полезно на больших проектах, где автоматическая индексация всего содержимого сайта часто приводит к информационному шуму.

Поисковые подсказки

Пользователь не обязательно должен каждый раз переходить на отдельную страницу поиска.

Модуль предусматривает поисковые подсказки непосредственно при вводе запроса.

Это позволяет быстрее перейти к подходящему товару или материалу и одновременно помогает пользователю понять, что сайт распознал его запрос.

Визуальное оформление подсказок и самой страницы результатов можно адаптировать под дизайн проекта.

Решение для интернет-магазинов, B2B-каталогов и корпоративных сайтов

Хотя значительная часть наших тестовых сценариев связана с каталогом технической продукции, область применения значительно шире.

Интернет-магазины

Поиск товаров по названию, модели, характеристикам, вариантам написания и пользовательским формулировкам.

B2B-каталоги

Особенно полезен там, где используются сложные артикулы, маркировки, профессиональные термины и отраслевые сокращения.

Корпоративные сайты

Поиск одновременно по услугам, статьям, новостям, документам и информационным страницам.

Базы знаний

Поиск инструкций, документации, регламентов и справочных материалов с учётом разных вариантов формулировок.

Информационные порталы

Поиск большого количества публикаций с более предсказуемым ранжированием и разделением результатов по типам контента.

Поиск можно адаптировать под конкретный бизнес

Мы рассматриваем модуль не только как готовую поисковую строку, но и как основу для построения поиска под конкретный проект.

У двух интернет-магазинов на одной и той же платформе могут быть совершенно разные требования.

Одному важно искать по артикулам. Другому — по техническим характеристикам. Третьему необходимо связать внутреннюю профессиональную терминологию с теми словами, которыми пользуются покупатели.

Поэтому при внедрении можно настроить:

• участвующие в поиске разделы;
• дополнительные свойства товаров;
• поисковые фразы;
• синонимы и альтернативные названия;
• стоп-слова;
• правила формирования выдачи;
• смысловые группы результатов;
• внешний вид поисковой строки, подсказок и страницы результатов.

Такой подход позволяет использовать один готовый модуль на проектах с совершенно разной структурой контента.

Без зависимости от внешнего AI-сервиса

Сегодня словосочетание «интеллектуальный поиск» часто автоматически ассоциируется с нейросетями.

Наш модуль решает другую задачу.

Он не отправляет каждый пользовательский запрос в большую языковую модель и не требует для основной функциональности подключения отдельного внешнего поискового сервиса.

Это не генеративный AI-поиск и не попытка угадать смысл произвольного вопроса пользователя.

Это прикладной поисковый механизм для 1С-Битрикс, ориентированный на реальные проблемы поиска по сайту:

• опечатки;
• словоформы;
• технические обозначения;
• варианты написания;
• синонимы;
• неточные многословные запросы;
• правильное ранжирование найденного контента.

Для многих интернет-магазинов и корпоративных сайтов именно эти сценарии и являются основной причиной плохого качества встроенного поиска.

Почему мы разработали новое поколение поиска

Наш первый модуль 2019 года решал прежде всего задачу нечёткого поиска: помочь пользователю, который допустил ошибку в запросе.

Новый delement.smartsearch решает более широкую задачу.

Теперь недостаточно только определить, что мосло — скорее всего, «масло».

Нужно понять, что:

• 5W30 и 5W-30 — связанные варианты технического обозначения;
• моторные и моторное — формы одного слова;
• fully synthetic может быть связано с «синтетическим маслом»;
• полное совпадение названия должно быть выше частичного;
• товары, статьи и страницы желательно разделить в выдаче;
• сомнительное исправление лучше предложить пользователю, чем применить автоматически.

Именно из совокупности таких сценариев и складывается действительно удобный поиск.

Как понять, что поиск на вашем сайте нужно улучшать

• Пользователи регулярно получают «ничего не найдено», хотя нужный товар существует.
• Товар находится только при точном написании полного названия.
• Поиск не понимает модель без дефиса или пробела.
• Одна опечатка полностью меняет выдачу.
• Разговорные названия и профессиональные сокращения не работают.
• Результаты есть, но наиболее подходящий товар находится далеко не первым.
• Товары смешиваются со статьями и обычными страницами.
• Приходится вручную создавать большое количество искусственных названий только ради поиска.

Если такие ситуации встречаются регулярно, проблема зачастую находится не в ассортименте сайта, а в механизме поиска.

Вместо заключения

Хороший поиск незаметен пользователю.

Человек не должен думать, нужен ли дефис в 5W-30, как правильно написать модель товара, в каком падеже записано слово в каталоге и какое официальное название компания использует вместо привычного ему термина.

Он вводит то, что знает, — и получает наиболее подходящий результат.

Именно такой подход мы заложили в новое поколение модуля «Интеллектуальный поиск» для 1С-Битрикс.

Решение сочетает поиск с учётом опечаток, словоформ, технических обозначений, синонимов и пользовательской терминологии с управляемым ранжированием и структурированной выдачей. При этом модуль можно адаптировать под структуру каталога и реальные поисковые сценарии конкретного проекта.

«Цифровой Элемент» разрабатывает решения для 1С-Битрикс и может выполнить установку, настройку и адаптацию интеллектуального поиска под конкретный интернет-магазин, B2B-платформу или корпоративный сайт.