Сработает объявление или нет? Увеличивать бюджет на рекламную кампанию или перераспределить его? АБ-тестирование даст точный ответ, но только если вы проведете его правильно! Как настроить АБ-тестирование и избежать распространенных ошибок, рассказал Алексей Авдеев, Performance Group Head в «Ашманов и партнеры».
Время прочтения: 12 минут
Тэги: контекстная реклама
Внедрять или не внедрять в контекст то или иное изменение? Эту традиционную проблему специалиста по контекстной рекламе успешно решает такой инструмент маркетингового исследования, как АБ-тестирование. Однако при неправильном использовании он не даст достоверный результат. Расскажем, как правильно проводить эксперименты с АБ-тестами и увеличить эффективность контекстной рекламы.
АБ-тестирование — метод проверки гипотез, когда двум равным аудиториям показывается два разных варианта рекламы, посадочных страниц и т.п. Он широко применяется не только в контекстной рекламе, но даже за рамками digital-маркетинга.
С января по май нами было получено почти 6 млн визитов, закупленных в Яндекс.Директе. На графиках – динамика конверсии по транзакциям в разбивке по рекламным каналам. Мы видим уверенный рост и позитивную линию тренда. Однако именно заметные переломы на графике отражают результаты тестирования и их внедрение в основные рекламные каналы.
Результат был получен благодаря тому, что мы не просто перераспределяли бюджет. Сначала мы генерировали гипотезы, что можно улучшить в рекламных кампаниях и какой потенциальный результат от этого получить. Затем гипотезы были сегментированы, среди них выделены приоритетные и они были подвергнуты тестированию. После чего становилось понятно, оправдано ли их внедрение в кампании или нет.
Все, что используется в рамках рекламных систем Google Ads и Яндекс.Директ, может быть протестировано. Причем в этих системах есть сами инструменты тестирования.
Можно тестировать как сами объявления, так и их составные части: заголовки, вторые заголовки, тексты, быстрые или обычные ссылки. Например, если мы закупаем трафик по брендовым запросам и у нас есть возможность лить трафик на главную страницу или страницу акции, необходимо проверить, какая из посадочных страниц дает более позитивный результат.
Расписание показов — еще один популярный вид теста. Например, мы закупаем трафик круглосуточно и хотим понять: утром, днем или вечером он лучше окупается. Можно сделать АБ-тест на эти три сегмента и оценить эффективность закупки трафика в каждом из них.
Через тестирование лучше проводить и аудиторные корректировки. Например, когда у нас есть визиты на сайт, которые закончились отказами, мы вносим гипотезу, что не хотим закупать трафик у таких пользователей. Допустим, социально-демографический срез показывает, что мужчины 35-45 лет покупают лучше, чем женщины 55-60. Стоит ли на самом деле корректировать аудиторию, или это случайный фактор, проверяем через эксперимент.
Осталось дождаться, когда наберется достаточное количество данных, чтобы сделать статистически значимые выводы.
Здесь все происходит примерно так же, как в Яндекс Директ. В личном кабинете Google Ads заходим в раздел «Проекты и эксперименты». Создаем тестовую кампанию, копии, вносим тестируемые корректировки, Переходим в раздел «Эксперименты в кампаниях» и создаем эксперимент. Определяем дату начала и окончания (на забываем приостановить старую!). Распределяем бюджет: логично сделать это поровну, по 50% на копию кампании. Запускаем, и через некоторое время получим данные для интерпретации.
Гипотезы определяют, что именно мы тестируем, как будем оценивать влияние на результат. Полезным будет знание трендов контекстной рекламы 2021. Так же важно определить, по каким метрикам будем оценивать эффективность, но об этом чуть ниже.
Самое очевидное — протестировать различные варианты объявлений. Например, какой второй заголовок лучше конвертируется: «Консультация эксперта 0 рублей» или «Бесплатная консультация эксперта». Можно строить гипотезы, исходя из результатов статистики рекламной кампании за прошлый период. Например, в Директе мы анализируем распределение трафика по регионам. Видим, что трафика из Москвы больше, но он дороже. Создаем гипотезу: закупить больше трафика в регионах в надежде, что он там дешевле и лучше окупится. Другой вариант: обнаруживаем, что трафик с Android-устройств окупается хуже, чем с iOS. Гипотеза — переориентировать часть трафика с Android на iOS.
И еще один вариант — метод мозгового штурма (брейншторминг): сесть командой и придумывать гипотезы. Но, как правило, сгенерированные таким образом идеи все равно идут из описанных выше источников.
Так же можно протестировать рекомендации рекламных систем. Если, например, Google Ads рекомендует тратить больше денег на такую-то кампанию, мы можем провести эксперимент, чтобы убедиться, что действительно это стоит сделать.
Это один из ключевых моментов для понимания, к чему приведет изменение рекламных кампаний и за какими параметрами следить.
Представьте себе ситуацию: продвигаем юридические услуги, которые продаются через бесплатную консультацию, при этом минимальный чек 30 000 рублей. Запускаем АБ-тест двух объявлений, в одном пишем «Бесплатная консультация», во втором «Юридические услуги от 30 000 рублей». Если ориентироваться на количество конверсий, то первое объявление работает лучше: на бесплатную консультацию кликают чаще. Но если сделать ключевой метрикой количество заказов и стоимость заказа, то вариант «Бесплатная консультация» будет показывать себя хуже. Пришедшие на нее пользователи удивляются, что составление договора стоит, допустим, от 50 000 рублей, и выручка падает.
Другой пример: продажа сантехники через e-commerce. Создаем одно объявление «Бесплатная доставка», а другое «Скидка 20% при первой покупке», не очень понимая, какое УТП будет работать лучше. Проводим эксперимент и видим, что количество заказов или ROI со второго варианта выше, чем с бесплатной доставки. Но впоследствии (после подсчета маржи) может оказаться, что, несмотря на выручку и количество заказов со второго варианта, из-за скидки маржа падает, и мы можем даже уйти в убыток.
Вот пример тестирования автоматической и ручной стратегий. Несмотря на сходные цифры по визитам и посетителям, мы видим увеличение выручки почти в 3 раза в автоматической стратегии. Правда, тут мы не знаем стоимость трафика, возвратность инвестиций, где выше маржинальность и т.п. Но по крайней мере на первый взгляд, автоматическая стратегия показывает себя лучше в рамках данных метрик.
Когда мы создаем две копии рекламных кампаний, полезно убедиться, что аудитория, которую мы тестируем, сохраняет однородность. В ААБ-тесте мы делим аудиторию на 3 части и в двух запускаем одинаковые рекламные кампании со старыми настройками. По двум одинаковым версиям данные должны не отличаться, если отличаются — тест недостоверен.
При желании можно сделать даже ААББ-тест, поделить трафик на равные доли и убедиться, что данные по одинаковым вариантам не отличаются. Стало быть, мы проводим корректный тест и можем доверять полученным результатам. Но учтите, что чем меньшая доля трафика приходится на тестируемую часть, тем дольше ждать статистически значимого результата.
Здесь опять-таки важна статистическая достоверность. В Яндексе и Google есть калькуляторы проверки статистической значимости эксперимента, также можно использовать калькулятор достоверности Mindbox.
В простом варианте калькулятор выполняет две задачи: оценивает размер выборки, необходимый для получения статистически значимого результата, и проверяет итоги тестирования. Для более глубокой проверки необходимо привлекать аналитиков, знакомых с математической статистикой.
На рисунке показан короткий АВ-тест с размером выборки для обоих вариантов по 100 посетителей. Количество конверсий, соответственно, 14 и 20, т. е. результат отличается примерно на треть.
Подвох в том, что говорить о конверсии как о величине, вычисляемой методом деления, некорректно. Так как в варианте А при выборке 101 могло бы быть уже 15 конверсий! То есть одна заветная конверсия дает порядка 10% погрешности. Поэтому следует ввести два понятия. Первое — доверительный интервал, некий промежуток, в который с вероятностью в данном случае 95% должна уложиться конверсия. Второе — достоверность теста, то есть параметр, определяющий, что мы проводим тестирование с достоверностью 95%.
И тут мы видим, что, несмотря на то, что конверсии отличаются на треть, доверительные интервалы пересекаются очень сильно, тоже примерно на треть. А это означает, что статистически вариант А значимо не хуже Б.
1. Отсутствие плана тестирования — самая распространенная ошибка. Потратьте время на документ, в котором описана гипотеза (например, перераспределить трафик на Поволжье), основания для нее (потому что Поволжье на 20% лучше окупается), рекомендации (хотим повысить бюджет на 20%). И предполагаемый результат: сейчас трафик 100 000 человек из Поволжья, значит, при повышении бюджета на 20%, мы должны получить трафик 120 000 человек. При этом планируем сохранить конверсию и среднюю стоимость чека, т.е. рост выручки на 20%.
Здесь же следует указать, по каким метрикам будем оценивать эксперимент: стоимость заказа, выручка, маржинальность и т.п. При создании прогноза по влиянию корректировок надо учитывать, что в большинстве случаев гипотезы не приводят к значимым изменениям. Создать такую гипотезу – большая удача. Но можно научиться прогнозировать такие гипотезы математическими методами.
5. Игнорирование статистической достоверности — относится к описанным выше доверительным интервалам и т.п. Например, мы запускаем АБ-тест на сравнение по регионам и в рамках конверсии видим, что в Санкт-Петербурге конверсия 20, а в Москве 15. Делаем вывод, что в Санкт-Петербурге конверсия лучше, не проверяя ни достоверность, ни значение доверительных интервалов, ни их пересечения. Результаты такого эксперимента бесполезно использовать.
6. Тестирование на маленьком трафике — сильно удлиняет получение статистически значимых данных. Вообще при маленьком трафике АБ-тестирование не очень подходит как инструмент. Надо либо находить гипотезу, которая на порядок увеличит конверсию или выручку (но это редкость), либо использовать другие методы маркетингового исследования.
7. Анализ влияния теста только на одну метрику — приводит к тому, что не учитывается, что, например, если мы делаем скидку покупателям, то растет выручка, но падает маржа. Поэтому так важно тщательно определять метрики и считать их правильно. И проверять, что эти метрики действительно зависят от проводимых изменений. Помимо основных метрик следует выбрать второстепенные, предшествующие им по воронке. Тогда в случае, когда невозможно сделать статистически значимые выводы по основным метрикам, их можно сделать по второстепенным. Но такие метрики должны иметь корреляцию с основной.
8. АБ-тестирование в два этапа — еще одна частая ошибка. Допустим, сделан анализ статистики закупленного трафика и видно, что сегмент А лучше работает. Не дожидаясь конца эксперимента, мы перераспределяем на него бюджет и неделю наблюдаем позитивный результат. А потом выясняется, во время эксперимента коллеги из отдела медийной рекламы закупили пул брендового трафика! И доверять результату тестирования нельзя, потому что шел общий рост конверсии с performance-каналов, а в другие дни данные не будут отличаться.
9. Сдаваться на полпути — когда мы делаем тестирование на постоянной основе, например, ежемесячно, то в большинстве случаев мы не получаем ожидаемых результатов. Это нормально и это не повод прекращать делать тестирование. Если грамотно подойти к генерации и приоретизации гипотезы, правильно настраивать АБ-тесты и разумно анализировать их результаты, то график конверсии будет иметь позитивный вид и от месяца к месяцу результат будет улучшаться.
Вам будет интересно
Доставляем экспертный контент
Мы делимся с подписчиками экспертным контентом: отправляем полезные статьи, советы от специалистов, приглашаем на вебинары. Подпишитесь, чтобы узнать больше о продвижении бизнеса в Интернете, наших мероприятиях и репортажах с крупных отраслевых событий. Выберите наиболее удобную платформу для вас и наслаждайтесь контентом!
Нажимая на кнопку «Подписаться», я даю согласие на обработку персональных данных и соглашаюсь c политикой конфиденциальности
Мы отправили вам проверочое письмо — пожалуйста, подтвердите адрес электронной почты, перейдя по ссылке внутри письма.
Пожалуйста, попробуйте еще раз