Яндекс Палех

Яндекс Палех – это вышедший в ноябре 2016 года поисковый алгоритм, использующий технологию нейронных сетей, машинного обучения и семантического анализа. Основная область применения данного алгоритма – это так называемый длинный хвост запроса. Во многом Яндекс Палех перекликается с алгоритмом Гугла RankBrain, который по заявлению создателей также направлен на работу с длинным хвостом запроса и использует нейросеть для обучения на истории запросов. Идея алгоритма должна реализовывать поиск не по анализу всего текста, представленного на странице, а по смыслу, вложенному в заголовок.

Зачем был введен Яндекс Палех?

Как писалось выше, цель алгоритма длинный хвост запроса. Длинным хвостом называют запросы, сформулированные в виде целой фразы, а не маленького набора ключевых слов, таких как «сбербанк онлайн личный кабинет». Такие запросы формируются, когда требуется найти что-то про что задающий помнит только какой-то отдельный факт про объект, например, наиболее часто это имеет отношение к художественным произведениям. Требуется найти фильм, в котором произошла та или иная сцена или книгу, про которую тоже известно немного. И вот в этот момент на помощь приходит алгоритм, выискивающий семантические связи между запросами. То есть в идеале на запрос «молодая пара в замке с созданным гомункулом мюзикл» Яндекс Палех должен давать ответ «шоу ужасов рокки хоррора». Для более частых запросов при ранжировании алгоритмы опираются на опыт пользователей, которые благодаря своему поведению, такому как времени пребывания на страницах, комментариях, добавлении сайтов в закладки и тд позволяют отличать действительно качественные и полезные сайты от использующихся исключительно в рекламных или иных злонамеренных целях. В случае же новых запросов система не может опираться на прошлый опыт, поскольку его попросту нет, и вот для понимания смысловой стороны запроса, для выдачи максимально релевантных ответов и вводится машинное обучение. Собственно, основное требование машинного обучения – это большой набор данных, который требуется для достаточно точной «калибровки» алгоритмов. В случае поисковых гигантов такой проблемы не стоит, поэтому поиск – одна из благодатнейших почв для машинного обучения.

Яндекс Палех

Какова примерная механика работы Яндекс Палеха?

Идею работы Яндекс Палех можно условно разбить на два интересных кластера. Первым кластером можно назвать векторное представление слова в пространстве. Эта технология была повторена после первого её появления у Гугла. Гугл анонсировал технологию word2vec, представляющую отношения между словами в виде вектора в трехсотмерном пространстве. Данная технология позволяет определять семантические отношения между словами и соотносить их между собой. В качестве примера можно привести отношение колеса к машине, которое в этом пространстве является таким же как отношение ноги лошади к лошади. Вторым кластером можно счесть технологию машинного обучения. Его идея состоит в том, что машинный код, сталкиваясь с новой информацией, переписывает собственные алгоритмы обработки этой информации. Первым, кто заявлял о внедрении технологии в поисковых алгоритмах был Гугл. В октябре 2015 года Гугл объявил о внедрении нового обновления, использующего машинное обучение для обработки «длинных хвостов» запросов. Одной из причин внедрения можно назвать плохое распознавание запроса, из-за чего система воспринимала их как новые, и доля неизвестных гуглу запросов была около 15% от всех запросов в день, что достаточно много.

Итак, Яндекс Палех является предсказуемой реализацией RankBrain, впервые представленной Гугл, но с годичным запозданием. Со временем, все больше и больше страниц и понятий будут отображены в пространстве координат, что позволит иметь более качественное представление об отношении понятий не только для улучшенного поиска, но и для лучшего понимания языка. Интересен тот факт, что именно такая размерность была подобрана эмпирически, то есть совершенно непонятно, какую содержательную интерпретацию имеют эти триста измерений. Возможно, с развитием искусственного интеллекта лингвисты и математики смогут дать ответ на этот вопрос.

Что значит появление алгоритма Яндекс Палех для seo?

По большому счету, этот алгоритм рассчитан не на оптимизаторов и какое-либо их поощрение или наказание, а на решение проблем поисковой системы и качества поиска. Поэтому никаких коротко идущих выводов для seo мы не наблюдаем. Но, возможно, он затронет тех, кто оформляет страницы на сайтах совсем коряво, то есть текст на странице не соответствует заголовку, полон рекламы и абсолютно бессмысленнен для пользователя. В общем, если Вы исповедуете белое seo, не занимаетесь применением категорически запрещенных методов, такой как покупка ссылок (за которые банят многие иные алгоритмы), а смысловая часть текстового наполнения Вашего сайта не потеряна и не сильно отдалена от заявленных заголовков, дескрипшнов и всех формальных описаний и анкорных текстов внешних ссылок, ведущих к Вам, то бояться нового алгоритма Вам не стоит. Прочитать больше про интересный процесс обучения нейронной сети можно в статье официального блога Яндекса на Хабрахабре.