Фильтры поисковиков

Фильтры поисковиков – это алгоритмы, позволяющие «отсечь» сайты, использующие нечестные способы раскрутки. Можно поделить алгоритмы, используемые поисковыми ботами на два типа:

Первый тип – это алгоритмы, определяющие релевантность страницы или сайта запросу. По большому счету, основной работой оптимизаторов или просто администраторов сайтов должна быть релевантизация контента и сайта.
Второй тип – это алгоритмы, названные фильтрами, их задача заключается в отсеивании совсем уж трешовых, рекламных и заспамленных сайтов.

В англоязычном и немецкоязычном пространствах интернета, выделяемых гуглом в качестве наиболее «чистых», сайты борются за релевантность, в то время как во всех остальных языковых разделах сеошники борются с ветряными мельницами – фильтрами. Возможно, большинству кажется, что правила создают, чтобы их нарушать, и, если дал гугл рекомендации, значит, «они хотят всех надуть и заставить заниматься всякой фигней», потому что, как показывает практика, написать статью в академическом стиле удается далеко не всем. Вообще написать статью хоть в каком-нибудь читабельном стиле удается далеко не всем. Если не нанимать оптимизаторов, то, примерно объяснив, какого толка требуются статьи, можно нанять студента-филолога, который все напишет да еще и грамотным русским языком.

Но основной причиной, по которой оптимизаторы ввязываются в борьбу с ветряными мельницами – деньги. Если следовать рекомендациям гугла и оптимизировать сайт один раз, чтобы он не вылетал из топа, то становится непонятно, зачем платить оптимизаторам каждый месяц, за что им вообще платить тогда. Оптимизаторам надо как-то отбивать свой хлеб, поэтому они сразу идут по пути наибольшего сопротивления со стороны поисковиков. Ведь, если появляется постоянный враг, с которым нужно бороться, то сразу же появляется место, где «делать деньги»: ежедневные добавления ссылок на сайте, поиск дешевого размещения внешних ссылок на ресурс, перестановка ключевых слов в метатеге, переписывание идеального дескрипшна, переставление слов в украденных статьях. В общем, много еще чего можно придумать. Так и появляется феномен так называемого «поискового поддержания сайта».

Поисковые фильтры в англоязычном интернете

Основное отличие рунета от англоязычного интернета в том, что там оптимизация направлена на то, чтобы сайт был релевантен выдаче поиска. То есть основная работа seo-шников направлена на работу с контентом: как сделать его привлекательным для клиентов и поисковиков. Поэтому при обновлении фильтра или введении нового, «под фильтр» попадает небольшое число сайтов. В то время как в отечественном интернете каждое обновление фильтра – это почти трагедия, ведущая к вылету огромного количества сайтов. Собственно, почему трагедия – описывалось выше.

Фильтры поисковиков Google

Поисковые фильтры в рунете

В рунете же все усилия направлены на то, чтобы пройти по нижней границе – то есть не попасть под фильтры. Если прочесть различные статьи про фильтры, то можно увидеть, что все они стараются убедить читателя в одном и том же: «Честные методы оптимизации – это хорошо, и Гугл это любит, но все равно нужны черные методы оптимизации, без них никуда, потому что честно можно попасть в топ только, если у Вас на сайте фотография невидимого розового единорога или доказательство существования жизни на Плутоне». Но это лукавство. Сайт с собственным контентом, внутренней перелинковкой и без покупных ссылок может быть в топе. Та же самая Википедия не покупает ссылки и вообще seo не занимается, однако она находится в топе практически по всем запросам. Итак, лучше вообще не ориентироваться на то, как избежать попадания под фильтр. В определенной мере это можно сравнить с двумя школьными ориентациями: получить хотя бы троечку или стараться сделать все на пять. Вот сделать все, чтобы не попасть под фильтр – это попытка пройти по нижней планке, сделать на троечку. Если ориентироваться на эту планку, то любое обновление, ничтожное изменение правил будет заставлять исхитряться и извиваться как уж на сковороде, чтобы снова и снова проходить по этой нижней планке. В то же время, если Вы знаете, что честно пишете и заботитесь о Вашем пользователе, то о существовании фильтров можете забыть – они вряд ли Вас коснуться.

Обзор различных фильтров поисковиков

В вопросах поисковых фильтров Гугл и Яндекс находятся на одинаковых позициях. Обе эти компании борются за чистоту интернет-пространства, за то, чтобы сайты использовали свой собственный контент, полученные честными методами ссылки на свои ресурсы. Поэтому во многом алгоритмы фильтрации сайтов у яндекса и гугла схожи. Итак, попробуем перечислить фильтры, которые были выпущены этими компаниями. Начнем с фильтров Гугла. Фильтры начали появляться еще в 2000 году, с этого момента можно начинать отчет их истории:

Итак, в декабре 2000 года гугл представил GoogleToolbar, в котором можно было увидеть PageRank. PageRank – это первый алгоритм расчета веса страниц.
Через два года, в 2002 гугл начал экспериментировать с фильтрами и можно было увидеть, что выдача начала изменяться. В чем конкретно суть того алгоритма так и осталось неясным, но факт того, что он был задокументирован.
В феврале 2003 года на конференции в Бостоне был проанонсирован первый именной фильтр Гугла – Google Boston.
В апреле 2003 года вышел фильтр Google Cassandra, который был направлен на борьбу с сайтами, использующими грубые манипуляции с ссылками, использовавшие большое число ссылок с аффилированных сайтов, а также использовавшие скрытый текст и скрытые ссылки.
В мае 2003 года вышел алгоритм Google Dominic, который также в свою очередь забанил множество сайтов, его принципы работы остались неясны.
В июне 2003 года вышло обновление Google Esmerelda, это обновление было частью плана гугл обновлять алгоритмы каждый месяц. Но в целом, примерно с этого момента гугл начал реализовывать более масштабные алгоритмы, которые требовали более редких обновлений.
В июле 2003 года вышел фильтр Google Fritz (Фритц). Это было последнее обновление из ежемесячной серии.
В сентябре 2003 года вышел фильтр Google, который использовал так называемый «дополнительный индекс». Этот индекс добавился для того, чтобы индексировать больше, но при этом не терять производительность.
В ноябре 2003 года вышел фильтр Google Florida (Флорида). Алгоритм боролся с чрезмерным употреблением ключевых слов.
В январе 2004 года вышел фильтр Google Austin (Остин). Этот алгоритм был дополнением к Флориде.
В феврале 2004 года вышел фильтр Google Brandy (Бренди). Этот алгоритм боролся с некачественным использованием анкорного текста.
В январе 2005 года для того, чтобы блокировать спам-ссылки Google, Yahoo и Microsoft был добавлен атрибут "nofollow" к ссылкам. В других аспектах алгоритм не менялся.
В феврале 2011 года вышел алгоритм гугл Панда (Panda). Панда оценивает сайт комплексно, в зависимости от того, все ли страницы отвечают требованиям гугла.
В апреле 2012 года вышел алгоритм Пингвин (Penguin), который боролся с нечестными ссылками.
Фильтр Payday Loan вышел в июне 2013 года, его основными целями являются сайты, размещающие на своих страницах рекламные баннеры порносайтов или организаций, выдающих микрокредиты. В дальнейшем он претерпел еще два обновления летом 2014 года.
Обновление HTTPS/SSL вышло в августе 2014 года и заключается ровно в том, что теперь Гугл начал учитывать защищенность передачи данных. Соответсвенно сайты с защищенным каналом будут ранжироваться выше.
Фильтр Pirate вышел в 2012 и претерпел одно официальное обновление в октябре 2014 года. Из названия достаточно очевидно, что основной целью стали пиратские сайты и ссылки на такие ресурсы.
Обновления "Mobilegeddon" начали свое шествие в апреле 2015 года и продолжаются до сих пор. Как видно из названия, основные изменения в выдаче касаются параметра оптимизированности для мобильных версий сайтов. Соответсвенно, чем хуже адаптив, тем ниже строчка выдачи.
Введение машинного обучения в процесс ранжирования. Об этом было официально заявлено только один раз в октябре 2015 года, но не факт, что это единственное и первое использование технологии. Единственное что известно, так это то, что Гугл вводит собственно нейросети в процесс ранжирования и то, что это работа с длинными поисковыми запросами. Никаких очевидных следствий или явных изменений в ранжировании сайтов в выдаче пока обнаружено не было.

Алгоритмы Яндекса, борющиеся с левыми методами оптимизации. Эти алгоритмы могут быть включены в различные другие фильтры. В целом, в данном списке приводится набор тех алгоритмов, которые, так или иначе, присутствуют в различных итерациях фильтров Яндекса:

АГС фильтр. Этот фильтр призван выкидывать из поисковой выдачи сайты, которые в целом не проходят по критериям Яндекса.
Фильтр за аффилированные сайты. Этот фильтр накладывается в том случае, если обнаруживается, что несколько сайтов по одинаковой тематике принадлежат (с высокой долей вероятности) одному владельцу.
Фильтр, накладывающийся за наличие порнографического контента.
Фильтр, накладываемый за одинаковые сниппеты у разных страниц. То есть, в большом количестве случаев за одинаковые дескрипшны. Одинаковые сниппеты показывают, что
Фильтр за накрутку поведенческих факторов. Накрутку посещений., действий пользователей на сайте, например.
Фильтр за купленные ссылки. Этот фильтр накладывается в том случае если Яндекс считает, что ссылки, ведущие на сайт были получены незаконным путем.

Также у Яндекса существует ряд поисковых алгоритмов, которые называют фильтрами, но по сути своей фильтрами они не являются. Это просто алгоритмы ранжирования, которые направлены на то, чтобы лучше осуществлять отбор поисковой выдачи. Эти алгоритмы имеют названия городов. Своего рода игра в города. Вот список обновления алгоритмов:

Яндекс Магадан был запущен 16 мая 2008 года. Это первый алгоритм компании Яндекс, который имел название города. В этом алгоритме прослеживается целый набор изменений: улучшен геоклассификатор, увеличилось количество учитываемых факторов, ускорен процесс обработки, Яндекс начал индексировать сайты из других языковых разделов, понимать аббревиатуры, а также было улучшено понимание однокоренных слов и многословных запросов, пресс-портрет также претерпел изменения в лучшую сторону.
Яндекс Арзамас. Этот алгоритм был объявлен в официальном блоге Яндекса в 2009 году, в 2010 году претерпел изменения (обновления). Раньше этот алгоритм назывался Анадырь. Алгоритм Арзамас направлен на устранение омонимии в запросах. Также в Арзамасе внедрены улучшения по выдаче сайта в зависимости от географического положения пользователя.
Яндекс Обнинск был запущен 13 сентября 2010 года. В этом алгоритме улучшена обработка геонезависимых запросов, а также увеличена формула ранжирования.
Яндекс Калининград – это алгоритм, выпущенный Яндексом 10 декабря 2010 года. Этот алгоритм направлен на улучшение персонификации выдачи. Калининград обрабатывает историю браузера и «разбирается» в предпочтениях пользователя в целом. Этот алгоритм не учитывает сиюминутные изменения.
Яндекс Дублин был запущен весной 2013 года. Этот алгоритм направлен на обработку сиюминутных запросов пользователя. Он анализирует запросы в течение нескольких часов и корректирует выдачу согласно истории.
Яндекс Палех был запущен в ноябре 2016 года. Основная цель этого алгоритма – улучшение поиска по запросам с длинным хвостом.
Яндекс Баден-Баден запущен в марте 2017 года, направлен на противодействие переоптимизированным текстам на сайтах.

Поводы стать «жертвой» фильтров поисковиков:

Ворованный контент. Опять-таки далеко не всем удается написать статью уже по заезженной теме. Если Вы не можете позволить себе нанять студентов-рабов, то вспомните, как пишутся рефераты. Прочтите все по нужной Вам теме, дайте определение обозреваемому предмету или явлению и распишите его с разных сторон своими словами.
Купленные ссылки. Вместо того, чтобы покупать ссылки на ссылочных фермах и тем самым, после закрытия этих ферм, терять позиции в поисковой выдаче, создайте сообщества в социальных сетях, выпускайте хотя бы по одному посту в 1-3 дня и ссылайтесь в этих постах на свой сайт.
Одинаковый анкорный текст ссылок. Попытка набить цену сайту за счет слишком большого количества ссылок на другие ресурсы или слишком частой внутренней перелинковке (5 ссылок на одну статью из другой статьи) вредит Вашему сайту, поисковик может счесть, что сайт слишком «переоптимизирован».
Ссылки на сайт с сайтов несхожей тематики (например, ссылка на сайт по продаже овощей с порносайта). Не надо использовать купленные ссылки, ни к чему хорошему это не приведет.
Использование дорвеев.
Слишком резкое появление большого количества ссылок.
Битые ссылки на сайте.