«Малополезный контент…» или ошибка Яндекса?

24 апреля Яндекс опубликовал информацию об обновлении алгоритма «Малополезный контент, некорректная реклама, спам». Это обновление направлено на улучшенный поиск агрессивной, а также мимикрирующей рекламы, т. е. маскирующейся под элементы сайта. При этом используемая рекламная платформа, по словам представителей Яндекса, не важна. 

Представитель Яндекса Елена Першина подтвердила, что наложение санкций не зависит от используемой системы размещения рекламы:

Данная санкция – алгоритмическая, т. е. накладывается автоматически, а не ручным путем.

Подтверждение автоматической выдачи санкций:

Как отмечают некоторые вебмастера, предупреждение об этой санкции может быть выдано, даже если на сайте нет блоков рекламных систем, а есть просто блоки внешних ссылок, которые алгоритм распознает как рекламу. Обновление вызвало множество вопросов к Яндексу относительно работы алгоритма.

Вечером этого же дня в панели Яндекс.Вебмастера одного из наших клиентов, портала о новостройках, появилось предупреждение о данном нарушении. Ради справедливости отметим, что на сайте действительно были рекламные блоки, которые были схожи с карточками новостроек, но контент в блоках был абсолютно другим, а также была заметная подпись о том, что это реклама (чего нельзя сказать о многих конкурентах, которые делали рекламные ссылки точно такими же, как ссылки на карточки объектов, не указывая, что это реклама).

Наши действия

После получения информации о нарушении мы:

• изучили доступную по вопросу информацию в официальном блоге Яндекса для вебмастеров;

• изучили информацию на форумах для вебмастеров, где пользователи делятся своими данными о причинах и последствиях полученных предупреждений;

• перепроверили информацию в официальной справке Яндекса на предмет обновления данных о том, что Яндекс считает недопустимой рекламой и какие возможны последствия;

• провели мониторинг изменения поисковой выдачи, а также позиций и трафика сайта.

Установление причин

В итоге установили, что сайт не нарушает правил, описанных в официальных источниках. Но как подтверждается сообщениями сотрудников Яндекса, перечень правил в их справке может быть неполным.

Ответ Елены Першиной о разрешенных и запрещенных приемах размещения рекламы:

Таким образом, можно лишь предполагать, за что в действительности было получено предупреждение. Действительно, большое количество рекламы присутствует лишь на главной странице сайта, при этом у всех блоков указано, что это реклама.

Связь с техподдержкой

После изучения всей доступной информации, в техподдержку Яндекс.Вебмастера был направлен запрос с целью подтвердить причины выдачи предупреждения. В запросе:

• приводились факты наличия на сайте полезного контента, который важен и нужен пользователем, и того, что контент авторский, с уникальным содержимым, несет дополнительную ценность, на что обращают внимание поисковые работы;

• делался упор на то, что сайт клиента – портал, а не агрегатор;

• приводился скриншот поведенческих характеристик из Яндекс.Метрики, подтверждающий, что рекламные блоки на главной странице не мешают посетителям, не создают трудностей в навигации по сайту и не вводят в заблуждение;

• упоминалось о том, что рекламные блоки на сайте помечены, в то время как у конкурентов это соблюдается не всегда.

Собственно, приводим сам текст обращения:

Как видите, уже перед первым обращением мы провели анализ сайта на возможные нарушения, упомянули обо всех важных аспектах, которые могут влиять на вероятность наложения санкций, а также задали дополнительные вопросы, которые могут помочь в установлении причин. Конечно, надежды на то, что на такие вопросы получим сколько-нибудь вразумительные ответы, почти нет, но лучше это все же делать – по опыту, если переписка затягивается, то на 5-6 письмо поддержка начинает отвечать уже более конкретными фразами, а не отписками. При этом мы не скрывали и не маскировали то, что сайт действительно монетизируется за счет рекламы, но является уникальным (во всех смыслах) порталом, а не простым агрегатором.

Ответа пришлось ждать несколько дней – судя по числу комментариев в официальном блоге и на форумах вебмастеров на тот момент, у них было очень много работы, и время ответов было увеличено, как бывает при введении подобных обновлений, затрагивающих многие белые сайты.

Влияние на позиции и трафик

Дожидаясь ответа, мы провели анализ влияния выданного нарушения на позиции и трафик сайта за первые два дня. Хоть период и был слишком маленьким, сделать это было необходимо – судя по обсуждениям на форумах, у многих людей, которые получили такие предупреждения по своим сайтам, трафик обвалился почти сразу.

Поисковый трафик

По данным Яндекс.Метрики можно сделать вывод, что это никак не повлияло на поисковый трафик сайта. Динамика соответствует средней и явным образом коррелирует с трафиком из поисковой системы Google. Это говорит о том, что изменения трафика связаны с изменением спроса среди пользователей, а не наложением ограничений со стороны Яндекса.

Анализ поискового трафика в первые два дня после получения предупреждения:

Для более наглядной демонстрации ниже расположен график, где показана доля трафика из Яндекса по отношению к трафику из Google, на который данные предупреждения однозначно не оказывают никакого влияния.

Отношение поискового трафика из Яндекса к трафику из Google:

Как видно, в последние два дня нет никаких просадок, которые говорили бы о падении трафика в связи с получением ограничений. Если сравнить трафик из поисковых систем, который пришел именно на главную страницу, окажется, что трафик с Яндекса уменьшился не так сильно, как с Google, если сравнивать 24 и 25 апреля (брендовый трафик отфильтрован).

Изменение поискового трафика на главную страницу сайта:

Суммарный трафик для всех страниц новостроек тоже не сильно отличается для Яндекса и Google:

Напоминаем, что данное уменьшение трафика связано с изменением спроса пользователей и отражается на всех поисковых каналах:

Позиции

Мониторинг динамики изменений позиций тоже не дает поводов думать, что действительно наложены какие-либо фактические ограничения. В таблице ниже представлены данные за последние три дня о числе запросов, которые изменили свои позиции в ТОП-10 в поисковой системе Яндекс (указано число именно изменивших позиции запросов, а не общее присутствие).

Динамика числа запросов в ТОП-10 в Яндексе:

Подобная динамика является нормальной для данного сайта и совершенно не говорит о наложении каких-либо санкций.

Первичный вывод и дальнейшие действия

Можно заключить, что фактических ограничений на сайте нет, несмотря на полученное предупреждение. Конечно, это не значит, что ничего делать не стоит, но радикальных мер применять не следует. Прежде всего, необходимо дождаться ответа от техподдержки Яндекс.Вебмастера, который может прояснить ситуацию. Поскольку наложенное нарушение алгоритмическое, можно было бы попробовать нажать кнопку «Я всё исправил» и надеяться, что повторная проверка покажет отсутствие нарушений, но:

• во-первых, велика вероятность, что результат будет таким же, если алгоритм работает ошибочно;

• во-вторых, алгоритм может работать верно, а Яндекс просто не оглашал какие-то нарушения, за которые предупреждение может быть выдано;

• в-третьих, возможность отправить повторную заявку на пересмотр появится лишь через месяц, а если нарушение «неписаных правил» Яндекса действительно есть и в дальнейшем повлечет какие-либо последствия, то это будет более тяжелым ударом, чем ожидание ответа.

Пока фактических ограничений нет (нет изменений в трафике и позициях, которые явно на это укажут) и нет ответа от техподдержки, вносить какие-либо кардинальные изменения не стоит.

Ответ Платона

Первый ответ был получен через три дня и выглядел следующим образом:

Здравствуйте!
Хотелось бы обратить Ваше внимание на то, что ограничения к Вашему сайту распространяются только на мобильный поиск.
Рекомендую Вам адаптировать Ваш сайт также и для мобильных устройств, например, для того, чтобы пользователи понимали, где реклама, а где нет.

Это дало уже хоть какое-то понимание, в чем может быть причина наложения санкций.

Хоть сайт и был адаптирован для мобильных устройств, и проблем с ним не было, мы провели дополнительный аудит именно рекламных блоков. По его результатам были внесены небольшие коррективы, но, как нам кажется, они были недостаточно существенными для наложения и последующего снятия нарушения.

При этом мы продолжали наблюдать за динамикой трафика и позиций, причем теперь более пристально именно за мобильным трафиком. Наблюдения продолжались до 8 мая, и никаких изменений не было замечено – как будто санкции и не наложены.

Снятие санкций

11 мая предупреждение само по себе пропало из панели Яндекс.Вебмастера – ни мы, ни клиент не нажимали кнопку «Я все исправил», не писали дополнительных писем Платону, не внедряли никаких правок. Оно просто пропало само по себе, и клиент вздохнул с облегчением.

Повторные предупреждения

Дубль 2

16 мая предупреждение вновь появилось в панели Яндекс.Вебмастера. Как и в прошлый раз, на позициях, трафике и индексации сайта это никак не сказывалось. В техподдержку вопрос был, конечно же, направлен, но уже с намеком на некорректность работы алгоритма.

Обращение во второй раз:

Ответ был следующим:

Здравствуйте!

По Вашему обращению в службу поддержки мы проверили, корректно ли в данном случае сработали наши алгоритмы, и ошибок с их стороны обнаружено не было.

К Вашему сайту действительно применены ограничения, связанные с его несоответствием нашему пониманию качественных сайтов.

На решение алгоритма могло повлиять множество факторов, таких как:

- наличие на сайте некорректной рекламы, маскирующейся под элементы сайта или каким-либо другим образом вводящей посетителя сайта в заблуждение;

- отсутствие оригинального и интересного контента;

- поисковой спам и др.

Мы стараемся настраивать и улучшать алгоритмы поиска так, чтобы сайты, соответствующие этим рекомендациями, быстро и полно индексировались и находились на высоких позициях по релевантным запросам. Если Вы будете развивать сайт для пользователей, размещать уникальную и полезную информацию и следовать нашим рекомендациям, то со временем его позиции в результатах поиска смогут улучшиться.

На это мы попросили более конкретные ответы, письмо было похоже на первое обращение:

В тот же день был получен ответ:

Здравствуйте!

Спасибо за письмо.

1) К сожалению, указать на конкретные элементы мы не можем. Главное, на что стоит обратить внимание, анализируя, например, рекламу - понимают ли пользовали, что перед ними реклама, а не часть статьи, или картинка из неё, что нажав на тот или иной элемент, они будут перенаправлены на сайт рекламодателя, а не в попадут в другой раздел сайта, и т.д.

2) Ограничения, примененные к Вашему сайту, действуют только в мобильном поиске.

3) Нет.

Ответы на второй и третий вопрос уже более конкретные, но в ответе на первый вопрос формулировки расплывчаты.

Как и в первый раз, мы продолжали наблюдать за динамикой трафика, но изменений не было. И точно так же внезапно, как и в первый раз, санкции были сняты 25 мая без каких-либо действий с нашей стороны.

Дубль 3

Мы думали, что на этом все, но 14 июня предупреждение вновь появилось. Проверили трафик, позиции, индексацию и написали письмо в поддержку: 

И ответ поддержки:

Здравствуйте!

Мы проверили корректность работы алгоритмов. Ограничения применены, так как текущее состояние Вашего сайта не соответствует принципам, описанным на странице: https://yandex.ru/support/webmaster/yandex-indexing/webmaster-advice.html .

«Малополезный контент, некорректная реклама, спам» — ориентировочные и наиболее частые причины ограничений, у наших алгоритмов на порядок больше критериев принятия решения. Так как оно принимается по совокупности множества факторов, к сожалению, мы не можем выделить из них несколько, которые повлияли в данном случае.

Проверьте, не содержит ли сайт чрезмерное количество рекламы, не мешает ли она просмотру контента и не вводит посетителей сайта в заблуждение (например, маскируюсь под элементы сайта). Также удостоверьтесь, что содержание сайта может быть полезно для посетителей, и на сайте отсутствует поисковой спам.

Рекомендуем Вам комплексно улучшать свой сайт, пользуясь советами, приведёнными выше. Когда алгоритмы сочтут сайт достаточно качественным, ограничения будут сняты автоматически.

Очередная отписка. Следующими письмами мы уже старались как можно конкретнее получить ответы на наши вопросы (в немного наглом тоне):

Ответ Яндекса:

Здравствуйте!

Спасибо за сообщение, мы проверим, все ли корректно в данном случае. Ваше письмо направлено в поисковый отдел для анализа.

О чудо! Сайт отправили на ручной анализ – это то, что нам было необходимо. Прошла неделя, ответа не было, и 22 июня мы решили напомнить о себе:

Письмо №6

И получили следующий ответ:

Здравствуйте!

По итогам последней проверки ограничения с Вашего сайта были сняты. Данные раздела "Безопасность и нарушения" в Я.Вебмастере уже обновились.

В данном случае мы понимаем, что, вероятно, ограничения уже были сняты вручную. Но на поставленные вопросы ответов не получили, о чем и напомнили в следующем письме:

Здравствуйте!

Ограничения на Ваш сайт были наложены ошибочно. По Вашему обращению была проведена проверка и внесены необходимые изменения в алгоритмы, в результате чего ограничения были сняты. Приносим свои извинения за доставленные неудобства.

Та-дам! И это финал нашего общения, из которого понятно, что:

• алгоритм работал с ошибками;

• сайт получал предупреждения по ошибке.

Кроме того, были внесены правки в работу алгоритма, а значит, мы помогли сделать поиск лучше.

Итого

Наверное, возникнет вопрос – зачем мы так упорно боролись с этим, если по факту последствий все равно никаких не было? Вот зачем:

• Спокойствие клиента.

• Последствия санкций могут иметь отложенный эффект. Они могли проявиться не сразу после наложения, как у некоторых людей, механизм их действия еще не до конца известен. Необходимо было исключить вероятность их влияния на положение сайта в поиске в будущем.

• Мы проверили себя, провели внеплановый юзабилити-анализ мобильной версии сайта, что пошло на пользу (были найдены некоторые несвязанные с рекламными блоками ошибки).

• В рамках анализа мы также проверили и конкурентов – о несоблюдении правил некоторыми из них были отправлены запросы в Яндекс. В этом не было большого умысла подпортить им жизнь, это было необходимо для того, чтобы поисковик сравнил наш сайт с ними и внес соответствующие коррективы – возможно, это помогло при анализе в поисковом отделе Яндекса.

• Повлияли на качество работы алгоритма – это может помочь не только нам, но и другим сайтам, не нарушающим правила поисковых систем, но по ошибке получающим предупреждения.

Главный вывод – при появлении предупреждения о каком-либо нарушении не стоит паниковать. Необходимо проанализировать текущую ситуацию и влияние санкций на сайт, изучить доступную информацию (как в документах поисковиков, так и на форумах) и проработать план дальнейших действий. В общении с поддержкой стоит задавать максимально конкретные вопросы. Пусть не с первого письма, но есть шанс получить конкретные ответы или добиться анализа своего сайта в поисковом отделе, что уже является большим шагом к установлению реальных причин наложения санкций. Мы были уверены, что наш сайт не нарушает правила поисковых систем, и всячески старались донести это до сотрудников первой линии поддержки – в итоге это сработало.