Куда движется ecommerce в российском поиске Яндексе и Гугла. Доклад, который построен на выборке из 200000 запросов

Проблематика

Во многих тематиках в поисковой выдаче в Яндексе и Google пользователь в ответ на свой запрос в первую очередь видит колдунщик:

Он забирает CTR. Это плохо. После этого идет контекстная реклама, и на ней снова теряется CTR.

И только потом начинается органическая выдача.

В Google - тот же самый контекст:

Те же самые колдунщики:

И только потом - поисковая. Получить трафик из поиска по высококонкурентным запросам очень сложно, если только у вас не компания-гигант. 

Многие продвигают сайты по позициям. Это нормально, этого требует рынок. Но фактически, все, кто находятся 6 места в выдаче, не получают трафика.

Зависимость CTR от позиции:

Проведем расчет. Предположим, у нас есть запрос с частотностью 3000. Сайт по этому запросу находится на 6 позиции. Умножаем частотность на 6,23, берем конверсию 5% (это средний показатель для интернет-магазинов). Получаем 9 заявок в месяц. Только заявок, без учета конверсии в продажи. 

Что с этим можно делать? Можно жаловаться, писать посты. Но это ни к чему не приведет. А можно пойти другим путем и выявить запросы, приводящие много трафика. Для этого было проведено исследование.

Задачи и вводные данные исследования

Для исследования было использовано более 200 000 запросов из 110 коммерческих тематик (продажа товаров и услуг, а также ставки и казино).



С января по август 2019 года (для некоторых проектов с декабря 2018) в этих тематиках собирали топ-10 поисковой выдачи Яндекса и Google.

В январе снимали данные каждую неделю. С февраля по август – каждые 3 недели (изменения на 1-2 неделях минимальные). Регионы исследования – Москва, города-миллионики: (Екатеринбург, Воронеж); города с населением >500 тысяч: Томск, Пенза; с населением >300 тысяч: Саранск, Владимир.

Первая задача, которую нужно было решить в рамках исследования – разметка  сайтов. На основе URL поисковых результатов получили домены и выделили их типы:

1. агрегатор;
2. тематичный агрегатор;
3. сложная коммерция;
4. коммерческий сайт;
5. соцсеть;
6. государственный сайт;
7. сервис поисковой системы;
8. информационный сайт.

Таким образом распределили 103 617 доменов. 

Проверили, коррелируют с позициями характеристики сайта:

• количество страниц в индексе Я и G;
• наличие в Справочнике;
• коммерческие маркеры в Title, H1, Description;
• ссылочное;
• нахождение сайта в топ 500 тысяч по Keys.so;
• ИКС;
• Whois и дата первого сканирования;
• соцсети;
• телефоны,
• Email.

Но единственная корреляция была найдена для сложной коммерции.

Задачи исследования:

Результаты

На текущий момент в Яндексе 65% коммерческой выдачи. Преимущественно – агрегаторы.



А вот динамика:



Яндекс планомерно убивает чужие коммерческие сайты (по обобщенным данным за 6 месяцев). Но всегда есть исключения.



В целом, в сложных тематиках агрегаторы получают мало трафика (и наоборот).



Таким образом, если у вас сайт высокой специализации и крутое предложение, то вы всегда заработаете. В категории сложных продуктов можно работать в любой поисковой системе.

А вот с максимальными тематиками ситуация другая:



Здесь минимальный порог входа для начала бизнеса и много агрегаторов.

В Москве Яндекс отдает приоритет в ранжировании агрегаторам и сложной коммерции, при этом процент URL таких сайтов постоянно растет. Поэтому в сложных тематиках можно работать в обеих поисковых системах, но в простых лучше уходить в Google.

Для регионов:



В регионах в Яндексе и в Google процент агрегаторов растет, а сложная коммерция практически не меняется. Дело в том, что в регионах очень плохие сайты, поэтому трафик отдается агрегаторам.

Можно ли сказать, что SEO потеряно? 

Нет. С SEO идет 65% коммерческого трафика в Яндексе.



Существующую проблему нужно решать.

Инструмент для специалистов

Решение от Ожгибесова – скоринг запросов и итерационное продвижение.

Действовать можно так:

1. Собрать данные для исследования вашей тематики.
2. Подготовить расшифровку для доменов.
3. Получить данные по составу топа в вашей тематике.
4. Получить данные по изменению URL у фраз на основании разных итераций вводных (недели, месяцы и т.д.).
5. Выбрать запросы, у которых отсутствует необходимый тип расшифровки (например, агрегаторы) – и внедрить эту семантику.
6. Выбрать запросы с минимальным присутствием по позициям необходимого типа расшифровки (например, агрегаторы) – и внедрить эту семантику.
7. И только после получения топа по этим запросам – переходить к наиболее сложной семантике.

Необходимо заниматься поиском запросов в своей тематике хотя бы в течение месяца. Если вы собираете запросы один раз, то не сможете понять динамику и спрогнозировать – хорошая или плохая у них перспектива в выбранной тематике. Вы сможете дать только текущую позицию. Например, текущая позиция по Яндексу 65%, но за последние полгода он потерял около 10% коммерческих сайтов. Чтобы это видеть, нужно отслеживать изменения.

Дальше нужно подготовить расшифровку доменов. Это делается вручную. Один специалист может обработать 1500 доменов за сутки.

Затем сводим данные. Можно использовать два варианта инструментов:

• Key Collector и XMLproxy (для Яндекса), XMLRiver для Google.
• Topvisor – инструмент Снимки выдачи.

Заниматься этим нужно как минимум четыре недели для каждой поисковой системы

Для Яндекса разбираем на примере Key Collector. Берем файл семантики  и делаем копии.



Для Google разбираем на примере Topvisor. Скачиваем файл из Topvisor по датам.



Открываем все итерации в KC, выгружаем данные поисковой выдачи в режиме Мульти-группы. Если вы снимали данные выдачи 4 раза, выгружаем по всем файлам. 



Файлы Topvisor отличаются от вида Key Collector, поэтому их нужно обработать, чтобы вид был 1. Для этого запускаем макрос для обработки данных в папке.





После сбора данных переименовываем их.



Яндекс – первый, Google – второй. Порядок для нашего макроса обязателен – по нему происходит обработка данных.

Из 1 базового файла нам необходимо получить домены из URL.

 

Далее нам нужна расшифровка по доменам. Копируем столбец URL в отдельный столбец и применяем «Текст по столбцам».



Получаем список:



Удаляем все, начиная от столбца D, чтобы остался протокол и домен. 



В столбец «B» вставляем «//» и протягиваем. В ячейке D1 пишем формулу =СЦЕПИТЬ(A1;B1;C1;) и протягиваем. 



Копируем столбец D и используем специальную вставку, чтобы из формул получить данные.



Выделяем весь столбец и удаляем дубликаты.



Полученные 344 домена вставляем в Netpeak Checker и снимаем следующие параметры:

• title; 
• телефонные номера; 
• проиндексированных URL в Яндексе; 
• дата регистрации домена и дата первого сканирования веб-архивом.

Например, если у сайта коммерческий title, то несложно сделать вывод, что это коммерческий продукт.

Опционально проверяем трафик через SimilarWeb и количество фраз в ТОП-100 через Serpstat. Это поможет сориентироваться: если в вашей тематике у всех в ТОП-100 примерно 5000 фраз, а у какого-то сайта 30 000, то это явно агрегатор.

Полученные данные готовим в таком виде:



На основании полученных данных и ручного просмотра сайтов вам необходимо подготовить расшифровку и привести это в следующий вид:



Checker выдает вам вид сайт https://url.ru/, нам необходимо убрать последний слеш, для этого используйте формулу =ПСТР(A2;1;ДЛСТР(A2)-1).



Переходим к макросу. В последний лист «Оценки» вставляем домены и расшифровку. Затем переходим в лист Ввод и выбираем папку с данными, которые мы подготовили. И нажимаем преобразовать. Если вы все правильно сделали, вы увидите «ОК».



Нажимаем вторую кнопку. Макрос отдаст вам домены во всех файлов, для которых нет расшифровки. Повторяем процесс расшифровки. 



Всего для этой тематики понадобилось расшифровать 796 доменов. В случае успеха при повторном нажатии кнопки, макрос выдаст сообщение ОК.



В итоге получаем полную аналитику по выдаче. Переходим на лист Отчет1 и нажимаем кнопку заполнить Отчет 0,0-1,3.


При нажатии на кнопку Заполнить Отчет 4, в листе Отчет 2 заполнятся данные об изменении URL с привязкой к фразам и файлам.



На третьем листе отчета – скоринг запросов.



У макроса есть удобная функция «Кроме». После загрузки и обработки файла, программа покажет все запросы, по которым нет агрегации.

Например, мы взяли сегмент недвижимости. Всего 6000 запросов. Мы нашли 218 запросов без агрегации в Яндексе и 529 запросов в Google. Работайте именно с ними.

Есть запросы, по которым  продвигать сайт легко, а есть те, по которым выдача полностью состоит из агрегаторов и продвинуться сложно. Лучше убрать эти запросы и приоретизировать продвижение. Эффективнее работать там, где вас не вытесняют.

Что же все-таки важно в SEO?

• Семантическое ядро и структура. Структура тоже имеет огромное значение. Чем больше страниц проиндексировано, тем лучше. 
• Прогнозирование результата в SEO со старта работ.
• Юзабилити и коммерческие факторы. Делайте ваш сайт лучше.
• Принимайте решение на основание анализа и скоринга ТОПА (текстовый анализ, структура, линкбилдинг)
• Анализируйте запросы, ищите продающие. Не пытайтесь охватить всё сразу, используйте итерационное продвижение.
• Меняйте стратегию. Агрегаторы, сайты услуг и интернетмагазины не получиться двигать с одной стратегией
• Используйте мобильный трафик. Он с каждым днём забирает всё больше трафик у декстопа!