Фильтры Яндекса

Тридцать лет назад информации в интернете было мало, поэтому поисковым роботам нужно было просто посчитать частоту вхождений поискового запроса и показать страницы. Затем количество информации значительно выросло, а в интернет пришел бизнес, готовый платить за первые места в выдаче. Появилось seo как метод манипуляции роботами. В противовес манипуляциям Яндекс совершенствовал алгоритмы поиска, вводил новые способы оценки качества и релевантности сайтов. К частоте слов поисковик присоединил количество входящих ссылок на сайт и поведение пользователей.

Как работает поиск

Ранжирование. Идеальная поисковая система должна за минимально короткое время среди миллиардов документов найти наиболее релевантные запросу. Для этого в Яндексе применяют систему каскадных ранкеров, когда на каждой ступени отсеиваются наименее подходящие документы. В итоге до прошлого года на последнем ранкере оставались 150 результатов, из которых и формировался топ выдачи.

Механизм ранжирования

Ранжирование было построено подобным образом для экономии ресурсов, и тяжелые алгоритмы применялись только на последнем каскаде L3. Раньше из-за этого терялись релевантные документы при поиске по сложным или низкочастотным запросам, поэтому вместо усложнения алгоритмов ранжирования в 2009 г. Яндекс ввел алгоритм машинного обучения Матрикснет. С этого времени поиск постоянно совершенствуется. За это время появились разные фильтры Яндекса, самыми значимыми из них стали те, которые оценивают смысл и содержание текста. Теперь за подбор документов отвечают нейронные сети.

Палех. Этот алгоритм Яндекса появился в 2016 г. как результат работы по внедрению нейронных сетей в поисковый алгоритм. Он распознает смысл длинных запросов, поэтому его назвали «Палех». Алгоритм работает с запросами с длинным хвостом как у жар-птиц палехской росписи.

В Яндексе доля уникальных запросов достигает до 50%. Это многословные запросы от детей, запросы-описания, когда пользователи не помнят названия фильма, книги и др., сложные запросы, по которым не накоплено достаточно статистики, чтобы точно подбирать релевантные документы. Часто наиболее подходящий документ вообще не содержит слова из запроса. Например, по запросу «итальянский десерт» правильным ответом будет «тирамису». Поэтому поиск по частоте ключевых фраз для подобных запросов не эффективен.

С разработкой нейронных сетей проблема поиска решается, потому что поисковик теперь может распознавать смысл текстов. Распознавание строится по похожему алгоритму как и при распознавании картинок. Нейронная сеть «читает» множество документов, которые помечены как положительный или отрицательный результат для конкретного запроса. Она накапливает статистику и обучается самостоятельно определять, подходят документы или нет.

Все заголовки документов в интернете переведены Яндексом в трехсот значные числа, потому что нейронной сети проще сравнивает не текстовую, а числовую информацию. Получилась система координат, в которой близкие по семантическому значению документы расположены рядом. Поэтому при подборе сайтов под запрос пользователя нейронная сеть выбирает документы, наиболее близкие по цифровому значению.

Королев. В августе 2017 г. Яндекс запустил новый алгоритм «Королев», который базируется на алгоритме «Палех». Королев создавали, чтобы решить проблему с уменьшением процессорного времени для обработки запросов с помощью алгоритма «Палех». Уменьшить время не смогли, зато заменили его памятью.

Теперь все документы заранее семантически оцениваются, и им присваиваются векторные числа. Результаты сохраняются для каждого документа, поэтому при подборе сайтов поисковику не нужно заново рассчитывать и анализировать смысл документов. Он выбирает уже из сохраненных результатов поиска. Это позволило существенно увеличить глубину обработки запроса — до 200 тысяч документов.

Также в Королеве внедрили дополнительный индекс. Это значит, что в подборе участвуют документы, релевантные для схожего запроса. Пользователи ищут одинаковую информацию, используя разные слова и  фразы. Но Яндекс заранее определяет релевантные документы по разным запросам и объединяет их в единый вектор при ранжировании. Таким образом, документы, подходящие под запросы «Фейсбук», «Фейсбук вход», будут показаны и при запросе “Facebook”.

Какие сайты Яндекс пессимизирует

Поисковые системы борются за внимание пользователей, поэтому они приветствуют качественные сайты и стараются не показывать пользователям некачественные. Яндекс ждет от вебмастером регулярной работы над ресурсом, поэтому добавляйте интересный полезный и уникальный с точки зрения содержания контент, повышайте юзабилити, работайте над дизайном и навигацией.

Яндекс считает сайты некачественными и накладывает на них санкции или понижает в поисковой выдаче, если это сайты:

Фильтр от переспама — Баден-Баден

Как работает. Самый нашумевший фильтр Яндекса, разработанный для борьбы с переоптимизированными текстами. Он заработал в начале 2017 г. Команда Яндекса начала с того, что отправила нескольким тысячам сайтов предупреждение о нарушении, чтобы у вебмастеров было время исправить проблемы. Однако многие вместо подготовки новых материалов просто снизили плотность ключевых слов. В Яндексе регулярно подчеркивают, что этого не достаточно. Если текст не несет ценности пользователю, ему нет места в интернете.

Алгоритм анализирует тексты на сайте и помечает их как переоптимизированные, если есть нарушения. Владелец сайта узнает о проблеме в разделе Яндекс.Вебмастера «Безопасность и нарушения». Если Яндекс находит нарушения, он обычно загоняет под санкции сайт полностью.

Кто под угрозой. Сайты, которые публикуют неестественные, насыщенные ключевиками тексты, тексты с «кривыми» запросами и ключевиками, которые выделены жирным шрифтом.

Что делать. Проверяйте частоту ключевых слов и читабельность текстов с помощью сервиса «Тургенев». Он оценивает риск фильтров Яндекса в баллах. Чем меньше баллов, тем лучше. Оценка 8 баллов и больше означает высокий риск для сайта попасть под санкции.

Удалите некачественный контент с сайта и создайте новый. Думайте не о плотности ключевых слов, а о пользе и ценности для читателей. Если на сайте слишком много seo-контента, закройте его от индексирования, пока готовятся осмысленные тексты для людей. Noindex — временная мера. Она помогает не попасть под санкции, пока меняется контент на сайте.

Фильтр от некачественных ссылок — Минусинск

Как работает. Фильтр нацелен на борьбу со ссылочным спамом и был анонсирован в 2015 г. Минусинск ограничивает ранжирование сайтов на срок от одного до нескольких месяцев. По заявлениям команды Яндекс, его действие расширялось постепенно. Сначала санкции затронули сайты, которые долго и в больших объемах закупали ссылки для продвижения. Затем остальные ресурсы, которые все еще пользуются покупными ссылками.

Четким критерием санкций со стороны Минусинска станет резкое снижение посещаемости в Яндексе. Как правило, посещаемость из Google остается на прежнем уровне. В разделе «Безопасность и нарушения» сервиса Яндекс.Вебмастер будет информация о применении санкций к сайту.

Кто под угрозой. Сайты с большим количеством seo-ссылок. Проверьте качество ссылочной массы в разделе Вебмастера «Внешние ссылки». Если найдете пару мусорных ссылок, можете их оставить. Если seo-ссылок много, рекомендуем их удалить.

Что делать. Если сайт попал под санкции, уберите все входящие seo-ссылки. После этого ждите повторной индексации сайта. Техподдержка просит не писать ей, а использовать кнопку «Я все исправил» в Вебмастере Яндекс. Снятие санкций занимает примерно несколько месяцев, потому что робот должен повторно проиндексировать не только сайт под санкциями, но и сайты-доноры.

Фильтр от накрутки поведенческих факторов

Как работает. Яндекс негативно относится к методу продвижения сайта за счет эмуляции действий пользователей. Если поисковик подозревает сайт в накрутке посещаемости ботами, он «банит» такой ресурс. К сожалению, под фильтр могут попасть все сайты, потому что недобросовестные конкуренты заказывают эмуляцию для сайтов на первых страницах поиска, чтобы выжить их из топа. К счастью, фильтр не срабатывает мгновенно, есть примеры сайтов, которые накручивали ПФ несколько лет и не попадали под санкции.

Кто под угрозой. В первую очередь, сайты, владельцы которых сознательно заказывают продвижение ботами или мотивированными исполнителями. Также под угрозой бана могут оказаться сайты, для которых конкуренты заказали эмуляцию. Следите за посещаемостью сайта в сервисах статистики. Если она резко выросла без видимой причины, вероятно, началась накрутка ПФ.

Что делать. Откажитесь от накрутки, если сайт еще не попал под бан. Вывод из-под санкций может занять до 12 месяцев. Если ресурс уже получил санкции, устраните нарушения и сообщите об этом в техподдержку.

Фильтр против некачественных сайтов — АГС

Как работает. С 2009 г. работает фильтр Яндекса против некачественных сайтов. До 2015 г. к аббревиатуре АГС добавлялся номер версии (17, 30, 40), теперь просто АГС. Фильтр работает до сих пор и нацелен на очистку поисковой выдачи от сайтов, которые созданы для продажи ссылок, дорвеев и прочего.

Чтобы определить наличие санкций АГС, обратите внимание на характерные симптомы: множество страниц выпадает из индекса, обнуление тИЦ или резкое снижение посещаемости.

Кто под угрозой. В основном под АГС попадают ресурсы с неуникальным и бесполезным контентом, с большим количеством исходящих seo-ссылок, с агрессивной рекламой, клоакингом и дублированием контента и сниппетов.

Что делать. Вывод из-под санкций занимает несколько месяцев. Сначала устраните проблемы, затем обратитесь в службу поддержки с просьбой убрать пессимизацию. Основное направление работы с сайтом — превращение некачественного ресурса в полезный и удобный для пользователей. Для этого удалите ворованный контент и агрессивную рекламу, закройте от индексации дубли страниц, перепишите одинаковые сниппеты, улучшите юзабилити и навигацию на сайте.

Фильтр против аффилиатов

Как работает. Фильтр против аффилиатов не накладывает на сайты санкции, он только очищает выдачу от ресурсов одной компании. Если организация производит с точки зрения потребителей разные товары или услуги, то естественно сделать несколько сайтов для каждого бренда отдельно. Но если пользователи считают, что это одно и тоже, и ищут товары по одинаковым запросам, то со стороны владельца сайта это дублирование контента и монополизация выдачи.

Допустим, производитель мебели с широкой линейкой товаров хочет сделать несколько сайтов. Если он создаст ресурсы «Садовая мебель» и «Мебель для дачи», то Яндекс посчитает это претензией на монополию и наложить фильтр-аффилиат. Потому что товары этих категорий сходные, и пользователи их ищут по одинаковым поисковым запросам. Чтобы сайты не считались аффилиатами, они должны предлагать разные категории товаров: «Мебель для дачи» и «Мебель для кухни». Для таких групп товаров семантика и целевая аудитория различаются, поэтому даже желательно создавать отдельные ресурсы.

Если Яндекс относит сайты к аффилиатам, он не накладывает на них санкции. Просто в выдаче начинает присутствовать только один сайт. Какой именно это будет ресурс, неизвестно. Случается, что сайты в топ выдачи меняются между апдейтами. Другой вариант, один сайт остается в топе, второй — значительно опускается ниже.

Кто под угрозой. Сайты одной компании со схожими товарами. Поисковик определяет аффилиаты по косвенным признакам: одинаковый адрес, телефон, реквизиты, id платежной системы, хостинг, сервер, товары одного производителя, совпадающий контент.

Что делать. Перед созданием нескольких сайтов определите, будут ли совпадать товары на сайтах, считают ли потребители их одинаковыми. Если да, остановитесь на одном ресурсе и развивайте его. Если вы уже создали несколько сайтов, выберите ресурс с наилучшими позициями и далее работайте с ним. Для присутствия в выдаче по одинаковой семантике создавайте сайты разной направленности: интернет-магазин, информационный сайт, агрегатор.

Запомните

Яндекс, в первую очередь, сам заинтересован в том, чтобы пользователи получили полезную и нужную информацию. Если этого не будет, то пользователи уйдут в другие поисковики. Поэтому Яндекс следит за поисковой выдачей, анализирует и оценивает сайты и ищет лучшие и релевантные документы под поисковые запросы. Не считайте Яндекс полисменом, который стоит на страже первых страниц поиска, и не работайте с ним как системой, которую просто нужно обмануть.

Думайте о пользователях и регулярно улучшайте сайты. Работайте над юзабилити, контентом, товарными предложениями. Внедряйте рекомендации Яндекса. Такие действия позволят не получить санкции и пессимизацию, и работать стабильно и долго.