Поисковые алгоритмы

Поисковый алгоритм – это компьютерная программа, которая посещает практически все сайты в интернете, ранжирует содержимое всех этих сайтов по всевозможным ключевым словам и при запросе пользователя возвращает страницу, наиболее релевантную ключевым словам этого запроса, базируясь на имеющейся уже ранжировке страниц всех сайтов по этим ключевым словам. На последнем этапе перед попаданием в поисковую выдачу полученная ранжировка страниц фильтруется, возможно, в соответствии с некоторыми принципами. Поэтому, по сути дела, поисковые алгоритмы должны бы называться ранжирующими алгоритмами, но исторически так сложилось, что называются поисковыми.

Поисковые алгоритмы

Главная цель поисковых алгоритмов – выдача качественного контента по данному ключевому слову. Но интрига заключается в том, что несмотря на все успехи искусственного интеллекта вообще и машинного обучения в частности, смысл поисковые алгоритмы пока не понимают и, соответственно, качество написанного в полной мере самостоятельно оценить не могут. Поэтому наряду с формальным определением качества контента – по формальным показателям структурированности, в частности – учитываются ссылки на этот контент с других сайтов как своего рода «голоса» в поддержку этого контента. В настоящий момент «подделать» формальные признаки структурированности, «зрелости» текста сложнее, чем «подделать» ссылки-голоса с внешних сайтов, поэтому последние часто оказываются объектами манипуляций. Из-за этого разработчики поисковых алгоритмов используют, по возможности, наименее манипулируемые ссылки, которые существуют на данном этапе технологического развития.

Как же определяется качество контента? Качество, «зрелость» содержимого веб-страницы определяется схожестью набора формальных признаков структурированности текста, встречаемости слов, относящимся к разным предметным областям, с аналогичными признаками у заведомо качественных текстов, на которых производится обучение поискового алгоритма. Разработчики поисковых алгоритмов используют так называемое «машинное обучение с учителем»: поисковому алгоритму указываются некие эталонные статьи (или факторы для их вычленения из Интернета) и формальные признаки, подлежащие анализу. В ходе такого обучения, в числе прочего, выявляются скрытые закономерности: определяется, какие комбинации формальных признаков присущи «зрелому» контенту. Знание того, в каких «коридорах» должны находиться значения некоторых определяющих признаков, позволяет отделить качественные веб-тексты от некачественных. По мере развития поисковых алгоритмов число параметров, которыми определяется качество контента растет.

Таким образом, каждое обновление поискового алгоритма максимально полно для данного технологического уровня определяет качество контента по формальным признакам и учитывает наименее манипулируемые ссылки на сайт из существующих на данный момент.

Тренды развития поисковых алгоритмов

Ориентация на хорошо структурированный контент
Ориентация на привлекательный для пользователя контент, благодаря которому пользователь больше времени проводит на сайте.
Ориентация на качественный контент, созданный частично поисковыми системами; курс на семантический веб, особенно в будущем
Ориентация на подтвержденное качество контента
- Ссылки не из социальных сетей учитываются все меньше
- Сигналы из социальных сетей (ссылки, лайки, перепосты) учитываются все больше
Персонализация поисковой выдачи
- Регионализация поисковой выдачи

Поисковый алгоритм Google

Поисковые алгоритмы Google, или по-другому фильтры Google, являются во многом образцовыми. Значимое обновление поискового алгоритма появилось в 2000 году, с 2003 года их обновления становятся именованными. Название первого именованного алгоритма Google – «Бостон» – происходит от названия города, где проходила конференция, на которой он был анонсирован.

Поисковый алгоритм Яндекса

Поисковые алгоритмы Яндекса тоже хороши. Про эти алгоритмы известно меньше, чем про алгоритмы Гугла, но в целом их эволюция идет по тем же законам, что и развитие алгоритмов Google. Поисковая система Яндекс была анонсирована в 1997 года, в 2000-м году появилась вторая версия поисковой системы. С 2008 года поисковые алгоритмы Яндекса стали именованными. Поисковые алгоритмы Яндекса не всегда посвящены улучшению какого-то конкретного качества поиска. В некоторых обновлениях алгоритмов можно четко проследить конкретные улучшения. Так, например, в алгоритме Яндекс Обнинск была разительно улучшена обработка геонезависимых запросов.

Основания трендов развития поисковых алгоритмов

В основании трендов развития поисковых систем лежат следующие факторы:

Структуризация, «выкристаллизовывание» веба.
Совершенствование алгоритмов машинного обучения, развитие искусственного интеллекта.
Возможность создания прозрачных иерархий обучающих поисковому продвижению сайтов.

Эти основания в своем имманентном развитии обуславливают появление современных актуальных трендов, а также будущих трендов.

Будущие тренды развития поисковых алгоритмов

Можно выделить следующие тренды развития поисковых алгоритмов, которые начинают быть актуальными сейчас и которые в дальнейшем будут все более и более актуальными и определяющими облик поисковых алгоритмов:

Системы аутентичных энциклопедичных текстов будут все более и более эффективными
Выстраивание прозрачных иерархий обучающих поисковому продвижению сайтов будет становиться важнейшей формой организации людей, вовлечённых в процесс продвижения сайта. То есть из основания трендов развития поисковых алгоритмов эта тенденция перейдет со временем в актуальный самостоятельный тренд.

Если же говорить о формальных изменениях, которые мы можем увидеть на протяжении последних лет, то среди улучшенных показателей выдачи стоят такие: выдача по геолокализации пользователя (если человек спрашивает у поисковика кафе итальянской кухни, то поисковик должен вычислить в каком месте находится пользователь и предложить ему именно местные кафе итальянской кухни, а не вообще все какие упомянуты в интернете), обработка запросов, в зависимости от предпочтений пользователя (что пользователь спрашивал ранее, какие сайты и на каких языках он посещал), оценка удобности сайта для пользователей мобильных версий этого сайта, наличие порнографического контента или переизбыток рекламы на сайте.

«Зрелый», энциклопедичный контент и поисковые алгоритмы

Итак, почему же создание систем аутентичных энциклопедичных текстов является будущим трендом развития поисковых систем и алгоритмов? Потому что это одно из качеств, которое было вычленено машинным обучением поисковых систем, проведенным на базе зрелых, аутентичных текстов, например, из Википедии. Действительно, тексты из Википедии, следуя объективным законам развития знаковых систем «вызревают» по мере их правки. Сначала они «сырые», тезаурус статьи рыхлый или, по крайней мере, не очень «компактный». По мере обсуждения, проговаривания он естественным образом становится более «сбитым», «собранным», компактным. Кроме того, по мере концептуального вызревания текста что-то происходит с рядом находящимся маргинальным семантическим ядром. И все это вместе собранное в определенных пропорциях производит у нас впечатление энциклопедичности как таковой.

Но может ли это качество текста обнаружить машина, поисковый алгоритм? По-видимому, может в ходе так называемого обучения с учителем. Рассмотрим, как это происходит. Для начала вспомним, что один из поисковых алгоритмов Яндекса обнаруживал по заявлению разработчиков около 400000 различных типов пользователей поисковиков и в соответствии с этим выдавал рекомендации по поиску. Может ли машина в ходе машинного обучения обнаружить то, что изначально было в неё не вложено? Да, может. В ходе автоматической классификации различных наборов признаков выявляются классы, которые не только заранее не были предсказаны, но и которым даже содержательную интерпретацию дать затруднительно. По-видимому, разработчики поисковых алгоритмов даже и не занимались этим – в их цели это совершенно не входит.

Подумаем, какие же четыреста тысяч типов обнаружило машинное обучение? Каким-то есть названия-ярлычки в русском языке. Почти наверняка система обнаружила пессимистов, оптимистов, флегматиков, меланхоликов. Вполне вероятно, человек ухватывает какие-то типы и нюансы, которые машинное обучение не смогло обнаружить: обозначение для них в русском языке есть, а соответствующего типа для него в классификации нет. Возможно, и наоборот: многие и многие их обнаруженных машинным обучением типов вообще не имеют названия на русском языке. Но, возможно, имеют отдельное наименование на каком-то другом языке, например, японском. Какие-то из обнаруженных классов, наверное, ни в одном с естественных вербальных языков не имеют соответствующего коррелята. Кроме того, также возможны ситуации, когда некоторые типы, найденные искусственным интеллектом, не имеют должного обозначения по отдельности в русском языке, но они вместе соответствуют некоторому типу «заякоренному» русским языком. То есть в последнем случае типология, полученная в результате автоматической классификации оказывается более детализированной, чем та, что ухватывается вербальным языком. Одним словом, взаимосоотнесение типов, воспринимаемых человеком и «выведенных» в ходе машинного обучения поисковой системы, может быть весьма сложным и неоднозначным.

Поэтому стопроцентно утверждать, что «энциклопедичность» «ухватывается» при таком обучении поискового алгоритма, наверное, нельзя. Задача установления соответствия между «энциклопедичностью» и автоматически обнаруженными типами довольно нетривиальная и вряд ли с должной скурпулезностью проводится разработчиками поисковых систем, поэтому они и не заявляют официально, что эта «энциклопедичность» учитывается.

Тем не менее из отсутствия таких заявлений не следует, что «энциклопедичность» действительно не была ухвачена, а наблюдения за поисковой выдачей энциклопедических текстов свидетельствует однозначно о том, что «энциклопедичность» и «аутентичность» – хотя бы в некотором своем качестве – были обнаружены автоматической классификацией и активно улучшают поиск.

Сманипулировать энциклопедическую аутентичность достаточно сложно – все равно какие-нибудь уши да вылезут. Поэтому проще создавать действительно энциклопедичные тексты.

Итак, предположим, что требуется написать статью по теме, которая была уже много раз упомянута и обмусолена в огромном количестве источников, статей, книг. Но для поискового продвижения сайта, на котором лежит эта статья (вернее, должна лежать) она требуется именно в энциклопедичном стиле. Что же делать? Вначале, попробуйте сформулировать для себя лично, что бы Вы сами хотели передать в статье об уже сказанном. То есть, при наличии предмета, упоминающегося уже много где, всегда можно выделить его важнейшие черты лично для себя. Итак, после того как выделены те черты, которые сам автор находит наиболее значимыми, отличительными и которыми он сам хотел бы поделиться, следует упаковать предмет статьи и описание данных черт в энциклопедичную форму. Что есть энциклопедичная форма? Если говорить исключительно о форме, то энциклопедичность будет проявляться в том, как именно подан объект, рассматриваемый в тексте. Вначале идет определение предмета, которому посвящена статья, потом идет несколько абзацев, раскрывающих суть предмета, преподносящих этот предмет (объект) с разных сторон. Помимо описания предмета статьи с разных сторон следует помнить о том, что в статье должны быть использованы (буллиты) списки. Не столь важно, какого именно рода списки: нумерованные или маркированные. Важно, что эти списки должны быть. В какой-то степени, эти списки являются символом того, что текст, представленный в статье, как-то был переработан, осмыслен, в нем был наведен порядок. Если по теме уже написано множество статей, то это значит, что пришла пора не просто описывать некое явление, а начинать «зрить в корень», пытаться разобраться в сути предмета, вписать его в некую картину реальности. Именно это должно быть в статье, тема которой уже много раз обмусолена. Потому что, как правило, даже если о чем-то уже написано много текстов, не факт, что эти тексты высокого качества.

Как на практике проверить качество аутентичности текста? Не вести же сложный расчет наподобие компьютерной программы ведь в искомой формуле могут быть сотни коэффициентов, приемлемые «коридоры» для этих коэффициентов все равно не известны, они, должны быть, разные для разных предметных областей. Так что же делать? В действительности качество аутентичности текста можно проверить простым мысленным экспериментом, которые со времен Френсиса Бэкона никто не отменял. Представьте, что исследуемый текст дают почитать многоопытной Мариванне, сочтет ли она его самостоятельно написанным и оригинальным? Или она увидит, что текст списанный, что он – компиляция? Ответьте, пожалуйста, честно на этот вопрос. Если мысленная Мариванна сочтет текст все же компиляцией, то значит и поисковый алгоритм до этого тоже догадается.