Лаборатория поисковой аналитики

«Алгоритм ранжирования в Яндексе — пьяная обезьяна с гранатой, по поведению которой сеошники пытаются сделать выводы.»

Не стоит преувеличивать. Разработчики поисковых машин регулярно тестируют новые параметры, робот проверяет, какой эффект они могут дать, и если достигается хотя бы небольшое локальное улучшение, фактор вводится в формулу ранжирования. Конкретные коэффициенты устанавливаются и корректируются автоматически, но они для нас и не важны.

Владельцу сайта или оптимизатору достаточно понимать в общих чертах, что на сайте может влиять на ранжирование, а что вряд ли, чтобы знать, в каком направлении двигаться. Такое понимание можно получить, сравнивая страницы в топе между собой и со страницами, которые в топ не попали.

И не факт, что точная формула помогла бы развивать сайт сильно больше, чем эти приблизительные знания.

Да, опять. Но не только они.

Силу связи между значением параметра и позицией действительно удобно оценивать с помощью коэффициента корреляции — в этом качестве мы используем ранговый критерий Спирмена.

Но мы обязательно контролируем его при помощи других статистических метрик — точного теста Фишера и  U-критерия Манна-Уитни. Грубо говоря, если различия в значениях параметра между верхушкой топа (топ-3 и/или топ-10) и оставшимися результатами могут быть случайными, мы корреляции не верим.

Но главное, связь (корреляция) между параметром и позицией внутри топ-30 — это только полдела. Вторая половина — связь между значением параметра и попаданием в топ-301. Ее мы оцениваем, сравнивая при помощи точного теста Фишера значения параметра на двух выборках: 1) топ-30 исследуемого поисковика (например, Яндекса) и 2) «фон» — сайты из топ-30 двух других поисковиков (в данном случае, Google или Mail.ru), не попавшие в топ-30 исследуемого.

Например, в Google есть сильная корреляция между позицией и наличием у интернет-магазина локализации в Москве — т. е. московского офиса, телефона и т. п. А для Яндекса такой корреляции не видно. Значит ли это, что для Яндекса этот параметр безразличен? Нет — наоборот, здесь он важнее, чем в Google! Всё дело в том, что Яндекс просто не пускает в топ «не локализованные» магазины. В топ-30 московской коммерческой выдачи Яндекса лишь 6% сайтов не имеют локализацию в Москве, против 23% сайтов из «фона».

Поэтому мы всегда стараемся ответить на два разных вопроса: есть ли для параметра корреляция с позицией и есть ли связь с попаданием в топ. Ответы на них не слишком связаны между собой — возможны любые комбинации: да/да, да/нет, нет/да и нет/нет.

Правда, если корреляция с позицией не зависит от других поисковиков, то связь с попаданием в топ может маскироваться более сильной связью с попаданием в топ у других поисковых машин. То, что мы не видим связи с попаданием в топ, например, для Google с его 77% «локализованных» сайтов в топ-30, не означает, что такой связи нет.

«Корреляция одних параметров с другими — это как история про то, что двигатели внутреннего сгорания прямо влияют на пиратство в Средиземном море. С тех пор, как их стало больше, пиратов в Средиземном море поубавилось.»

Действительно, наличие статистически значимой связи между значением параметра и попаданием в топ или позицией еще не означает, что Яндекс (Google) прямо учитывает данный параметр при ранжировании. Могут учитываться какие-то другие параметры, которые коррелируют с данным. Важно, насколько они близки или далеки друг от друга.

Если близки, то разница между ними может оказаться просто несущественной. Например, если поисковые машины учитывают ассортимент магазина, то не так уж и важно, как они его оценивают: увеличение ассортимента всё равно так или иначе скажется на ранжировании.

Если далеки, то «работа над параметром» не даст прямого эффекта. Это обидно — но дело в том, что и заведомо «правильные» мероприятия по поисковой оптимизации тоже могут не дать прямого эффекта. Некоторые факторы могут быть необходимыми, но никакой сам по себе не окажется достаточным.

Всякое действие в рамках поисковой оптимизации приходится оценивать по нескольким шкалам: насколько оно необходимо, насколько трудоемко (или дорого в иных отношениях), насколько быстро его можно реализовать, насколько улучшится (или ухудшится) от этого сайт для пользователей. Наши выводы о связях между параметрами и ранжированием — лишь дополнительные гирьки на весы, при помощи которых вам нужно выбрать, за что браться в первую очередь и за что потом.

Всегда выбирайте то, что полезно не только для роботов, но и для пользователей. Это беспроигрышная стратегия — даже если прямого влияния на ранжирование не будет, улучшение пользовательских метрик в конечном итоге отразится и на позициях в поиске.

Разумеется, мы стараемся понять, случайны ли выявленные нами закономерности. Сравниваем разные выборки, оцениваем корреляцию между параметрами, слушаем, что говорят разработчики поисковых систем; наконец, просто применяем здравый смысл. Но гарантий не даем — какие из наших результатов учитывать, а какие игнорировать, всегда решать вам.

«Карго-культ какой-то: повторять сайты из топа, не зная, почему они там. Одеваться как богатый и успешный, чтобы стать богатым и успешным, ага.»

Кстати, это не самая плохая стратегия. И не самая редкая. Например, все сервисы, дающие рекомендации по текстовой оптимизации страниц, продвигаемых по тем или иным запросам, основывают их на изучении лексического наполнения страниц конкурентов, которые уже попали в топ.

Но мы-то как раз не предлагаем копировать — мы пытаемся разобраться, «почему они там» и чего не хватает их конкурентам.

«356 запросов в 2019 году — это несерьезно, тем более для компании уровня АиП.»

Мы работаем с разными выборками — и с совсем маленькими (десятки запросов), и с довольно большими (тысячи). Они могут быть трех типов — исследовательские, коммерческие и метавыборки.

Коммерческие состоят из запросов, по которым продвигаются сайты наших клиентов. По ним строятся отчеты с практическими рекомендациями — сайт клиента сравнивается с конкурентами по тем параметрам, которые мы считаем важными; выявляются его сильные и слабые стороны, формируется персональный план поисковой оптимизации.

Исследовательские выборки подбираются специально для изучения факторов ранжирования — мы стараемся сделать их по возможности сбалансированными. Их размеры ограничены ресурсами, которые мы можем (или считаем целесообразным) на них потратить. Самый дорогой из этих ресурсов — «ручная» оценка коммерческих факторов, которую выполняют наши асессоры. При этом если коммерческие выборки обычно «одноразовые», то к исследовательским мы возвращаемся снова и снова.

Наконец, метавыборки составляются из запросов разных проектов за какой-либо период — обычно за несколько месяцев. Мы используем их для проверки тех выводов, которые получены на относительно небольших исследовательских выборках.

Средние значения параметра на разных выборках могут заметно различаться, но если на малой выборке выявлена корреляция с позицией или связь с попаданием в топ, на большой выборке они, скорее всего, подтвердятся.3 С точностью до того, что у выборок — и у маленьких, и у больших — могут быть особенности, существенно влияющие на ранжирование. Например, если в выборке много информационных запросов, коммерческие факторы для нее могут «не срабатывать», а то и давать обратный эффект.

Один из статистических инструментов, с которыми мы работаем, — точный тест Фишера — специально предназначен для работы с небольшим количеством данных. Поэтому даже выборки из десятков запросов для него обычно вполне достаточно.

«В эту выборку попали по большей части мастодонты электронной коммерции.»

Хотя исследовательские выборки и разбавлены низкочастотными запросами, в них всё-таки преобладают высоко- и среднечастотные. Во-первых, потому, что продвижение по высокочастотным запросам имеет большее практическое значение. Во-вторых, потому, что в исследовательских целях лучше работать с теми запросами, по которым много релевантных результатов. Именно на этом основано сравнение топ-30 с фоном: мы должны быть уверены, что результаты, не попавшие в топ (но выбранные другими поисковиками) отвергнуты не из-за того, что они просто нерелевантны, а по каким-то более тонким причинам.

Если в выборке преобладают низкочастотные запросы, все показатели, связанные с «качеством» сайтов, в среднем будут ниже. Но, как мы уже отмечали, это обычно не сильно влияет на значимость параметров — хотя и она иногда тоже немного ослабляется.

«С абзаца о том, что „самая заметная тенденция „коммерческого“ ранжирования в Google и особенно в Яндексе — при любой возможности отдавать предпочтение крупным сайтам перед мелкими“ перестал читать, в силу того, что все 600 параметров анализа от „Ашманов и партнеры“ стоят столько же, сколько и этот абзац.»

Начиналось всё примерно с сотни коммерческих параметров; дальше добавились технические, ссылочные, текстовые, «социальные», трафиковые, поведенческие. В результате недавно общее количество параметров превысило 600. Мы просто собираем всё, что получается собрать, — и дальше стандартным образом оцениваем связь с позицией и с попаданием в топ.

Разумеется, далеко не для всех параметров такая связь видна, не все даже гипотетически можно назвать «факторами ранжирования». Для некоторых гипотеза о том, что они важны для ранжирования, просто не оправдалась. Некоторые выполняют чисто техническую роль — например, учитываются при подсчете комплексных параметров, таких, как риск «Баден-Бадена».

«Если, например, крупный агрегатор, который стоит в топе Яндекса, сейчас уберет у себя ссылки на соцсети, он что, исчезнет из топа?»

Формула ранжирования любого современного поисковика учитывает множество факторов. Влияние любого отдельно взятого фактора ограниченное; если он «выпадет», принципиальных изменений в ранжировании, скорее всего, не будет.

Из этого правила есть исключения: некоторые факторы всё-таки могут оказаться критическими и исключить попадание в топ. Например, отсутствие локализации в регионе запроса или недостаточное количество слов запроса на странице может стать непреодолимым препятствием. А вот без многих коммерческих факторов, ссылок, групп в социальных сетях, при всей их важности, вполне можно обойтись, «выехав» на чём-то другом.

К тому же, если сайт уже попал в топ по запросу (например, в результате «подкидывания» алгоритмом Яндекса «многорукий бандит»), он может в нём закрепиться — при условии, что анализ поведения пользователей показал, что такой ответ на запрос их устраивает.

«Про популярность это, спасибо кэп, будь популярным и станешь в топе. То есть не используйте инструменты, влияющие на знание бренда, повышающие лояльность, нет, примитивное „популярность“»

Многие истины тривиальны, но это не делает их менее важными.

Так, наличие связи между популярностью сайта (количеством переходов от всех источников трафика) и ранжированием — вещь довольно очевидная. Но полезно понимать, например, что разрыв между «богатыми» и «бедными» сайтами сейчас усиливается. И что чтобы преодолеть этот разрыв, нужно запустить положительную обратную связь: рост трафика (от рассылки, социальных сетей, даже от рекламы) положительно влияет на позиции, а они, естественно, на трафик, и дальше по кругу.

«Мой скромный сайтец конкурирует на равных с теми, кого посещают вдесятеро чаще.»

Из того, что в топ-3 средний возраст домена — одиннадцать с половиной лет, а в третьей десятке результатов поиска — шесть с половиной, не следует, что сайт, которому без году неделя, не может пробиться в топ или попасть на одно из первых мест. Ему просто объективно труднее это сделать, чем «заслуженным» сайтам. То же самое и с посещаемостью, и с ассортиментом — сайты со скромными показателями по этим параметрам могут «выехать» на чём-то другом и обогнать более мощных конкурентов.

И конечно, наличие на первых позициях некоторого количества сайтов с низким значением параметра не означает, что этот параметр не влияет на ранжирование.

«Так товары-то какие? Телевизоры и телефоны это одна среда конкуренции, трусы и чулки — другая... Зависит от того, как перегрето всё.»

В этой серии отчетов мы как раз и пытаемся перейти от самой общей картины ранжирования к отдельным тематическим и «жанровым» срезам и посмотреть, какие параметры для них важнее, а какие теряют силу.

Многие факторы ранжирования не универсальны — они работают только для определенных типов запросов, интентов пользователя, жанров сайтов и т. п. Особенно это относится к коммерческим факторам — что прекрасно видно и на примере финансовой выборки.

Анализ общекоммерческих выборок может только показать, что тот или иной параметр распределен не случайно, что он может быть фактором ранжирования. Это, естественно, не значит, что он важен для любого запроса (в том числе и из той выборки, на которой для него видна сильная связь с позицией или попаданием в топ).

Есть простой принцип, позволяющий скорректировать оценки важности параметров в конкретном контексте; мы активно используем его при построении отчетов для наших клиентов.

Если продвигаемый сайт не сильно отличается по какому-то параметру от своих конкурентов, занимающих высокие позиции по запросу (или группе запросов), значит, этот параметр для продвижения по этому запросу (или запросам) не слишком важен.

Например, наличие на сайте описание предоставляемых гарантий — важный фактор. Но если по каким-то причинам среди ваших конкурентов много таких, которые о гарантии ничего не пишут, значит, и для вас это не главное.

«Конкретно можно по ушам настучать за умолчание Минусинска.»

Раз в год мы готовим детальный аналитический отчет, в котором стараемся рассказать более или менее обо всём, что видно на наших радарах и при этом важно для ранжирования. «Отраслевые» отчеты на универсальность не претендуют: в них мы пишем о том, чем выделяется конкретная область, — например, об особенностях ранжирования интернет-магазинов или финансовых сайтов.

Конкретно про «Минусинск» мы подробно писали в Факторах-2017 и не видим смысла повторяться — тем более, что с тех пор ничего нового не произошло и о каких-либо «отраслевых» особенностях применения этого фильтра нам ничего не известно.

«Интересно. Вот у меня есть проект, где нельзя указывать цены: промышленное оборудование — подбор комплектации индивидуально менеджером. Без цен же не айс, да?»

Главный принцип использования наших рекомендаций — их надо применять в комплекте со здравым смыслом. И тут, как обычно, может помочь оглядка на конкурентов. Если у них тоже нет цен (телефона 8-800, микроразметки, ...), то нет повода волноваться. Если вы от них отстаете, стоит подумать, как подтянуться.

И да, и нет. С одной стороны, SEO-департамент компании «Ашманов и партнеры» активно и успешно использует наши отчеты при продвижении сайтов клиентов, и их позиции растут. С другой — специальных контролируемых экспериментов по влиянию отдельных параметров на ранжирование мы не проводили. Дело это трудоемкое, и на сайтах клиентов особо не поэксперементируешь.

Если вы готовы провести такие эксперименты, это интересно, давайте это обсудим.

«Ваш „Тургенев“ не работает: в топе полно сайтов с критическими баллами, и ничего, не жалуются.»

Технологии, которые мы разрабатываем, моделируют работу роботов Яндекса и Google, но работают иначе, реализованы на других принципах. В частности, алгоритмы распознавания проблем в текстах основаны не на машинном обучении, а на словарных данных и статистических моделях — именно благодаря этому, кстати, у нас и получается выдавать подробную диагностику и рекомендации по исправлению.

«Тургенев» оценивает качество текстов иначе, чем Яндекс, — где-то хуже, а где-то, по-видимому, и лучше. Поэтому вполне возможно, что какие-то страницы, для которых мы считаем риск критическим, для Яндекса «прокатывают». Но посмотрите на них — вам эти тексты нравятся? Они полезны для тех, кто их решит прочитать?

С другой стороны, если вы не под фильтром сегодня, это еще не значит, что вы не будете под ним завтра. Как и в случае с «Минусинском», Яндекс отправляет сайты в «Баден-Баден» постепенно и осторожно — чтобы не обвалить качество поиска, разом зафильтровав весь топ. Вас пока не трогают? Воспользуйтесь этим для того, чтобы решить проблему некачественных текстов: лучше принять профилактические меры заранее, чем потом мучительно выбираться из-под фильтра.