Google анонсировал запуск нового поискового алгоритма — BERT. Разбираемся, что о нём известно и как он будет работать.
Если кратко, то по замыслу разработчиков, новый алгоритм поможет поисковой системе лучше понимать, что на самом деле искал пользователь.
Статья в тему: Что такое метатеги и как их правильно заполнить
Что такое BERT и как он будет работать
С помощью технологии BERT (Bidirectional Encoder Representations from Transformers — NLP на базе нейронных сетей) результаты поисковой выдачи станут более осмысленными, приближенными к тому, что на самом деле хотел узнать пользователь. Теперь слова и фразы в запросе пользователя будут обрабатывают с учётом контекста, не по порядку, как раньше. Уже сегодня поиск новый поисковый алгоритм помогает лучше понять каждый десятый запрос в США на английском языке. Позже, BERT будет локализован и начнёт работать на других языках.
Если говорить про англоязычные сегмент поиска, то не нужно будет подбирать запрос специально — алгоритм будет понимать смысл запроса даже в длинной фразе со множеством предлогов типа [for] и [to], иногда радикально меняющих смысл фразы.
Например, поиск [2019 brazil traveler to usa need a visa] («2019 бразильскому путешественнику в сша нужна виза»). Здесь [to] и его связь с другими словами в запросе особенно важны для понимания смысла. Речь идёт о путешествии бразильца в США, а не наоборот. Раньше алгоритм не видел этой связи, и в выдачу попадали материалы о гражданах США, путешествующих в Бразилию. С помощью BERT поиск предоставит более релевантный результат для этого запроса.
Давайте посмотрим на другой запрос: [do estheticians stand a lot at work]. Раньше термин «автономный» воспринимался как слово «стоять» (stand). BERT всё поймёт правильно:
Вот ещё несколько примеров, когда BERT словит нюансы языка там, где компьютеры не воспринимают текст как люди.
Только с появлением BERT [for someone] стало важной смысловой частью этого запроса:
Раньше при поиске вообще игнорировали слово [no], не понимая, насколько оно важно для правильного ответа:
BERT выбирает более полезный результат именно для взрослой категории пользователей:
Понимание языка останется вечной проблемой, а значит совершенствовать Поиск придётся бесконечно. Конечно, лучше не испытывать BERT запросом [what state is south of Nebraska] («какой штат находится к югу от Небраски») — скорее всего, она выдаст [South Nebraska] («Южная Небраска»). Хотя очевидно, что это Канзас :–) Тем не менее модели, обучаемые на английском, уже пытаются применить к другим языкам. И даже успели получить ощутимый эффект на таких языках, как корейский, хинди и португальский.
Читайте также:
