На конференции «eTarget. E-commerce» Ярослав Бондарчук, руководитель отдела Growth Hacking компании Retail Rocket, рассказал о том, как подготовиться к А/В-тестированию, чтобы получить корректные результаты.
Чтобы эксперимент имел смысл, нужна четкая формулировка проблемы и вероятный вариант ее решения. Где брать идеи для эксперимента?
Первый источник гипотез — наш опыт. Например, мы выяснили, что для электроники лучше работают рекомендации с похожими товарами: примерно 60-90% пользователей интересуют аналоги выбранной техники. А для аптек удачным вариантом будет размещение сопутствующих товаров, потому что 75% людей, покупающих лекарства, заинтересуют пластыри, шприцы и другие препараты для домашней аптечки.
Второй источник идей — это обратная связь от клиентов. Мы анализируем прямые вопросы в техподдержку и фидбек от аккаунт-менеджеров, собираем запросы пользователей и выявляем появление каких-то потребностей. Когда у нас есть какие-то данные, продакт-менеджеры напрямую общаются с клиентами в ходе интервью. Так мы понимаем, какой функционал интересен нашим пользователям и что мы можем улучшить.
Наконец, исследования рынка. Мы регулярно анализируем кейсы конкурентов, выясняем, что они делают и какие товары хорошо продаются. Эту информацию несложно искать, но ее нужно фильтровать: иногда функционал, который работает у конкурентов, для нас неэффективен.
Чтобы проверить как можно больше гипотез в единицу времени и сразу откинуть очевидно неэффективные, перед запуском А/В-теста мы обязательно проводим предварительное исследование. Это позволяет определить конфигурацию А/В-теста и существенно сэкономить ресурсы. На этом этапе мы оцениваем, сколько денег может принести гипотеза, на какой доле клиентов она будет работать, сколько будет стоить ее разработка и внедрение.
Например, мы хотим увеличить выручку интернет-магазина с помощью категорийного мерчендайзинга. Мы предполагаем, что формирование выдачи товаров разных категорий по различным математическим алгоритмам повысит эффективность. Чтобы это проверить, мы исследовали 20 прошедших ранее А/В-тестов на страницах категорий и карточек товаров, сегменты которых отличались версиями показанных рекомендаций. Затем в каждом из сегментов сделали срез по результатам в каждой категории.
Результаты теста в целом по магазину
Результаты теста по одной из категорий
На основе этих данных мы сформировали конфигурацию А/В-тестов:
На следующем этапе мы рекомендуем обязательно проводить А/А-тесты. Это поможет в трафике интернет-магазина найти аномальные группы пользователей, которые могут исказить конечные результаты.
Глобально аномалии можно разделить на группы:
По нашему опыту, оптимальный период проведения тестов — от 2 до 4 недель. Меньше этого срока проводить эксперименты нельзя из-за сильных колебаний трафика интернет-магазина, при большем времени на результаты влияют акции, распродажи, сезонность и т.д.
Во время тестирования мы снимаем 4 основные метрики:
Чтобы увеличить скорость экспериментов, рекомендуем проводить параллельно несколько тестов на разных страницах. Мы обычно на одном магазине проводим одновременно около 5 тестов: на главной странице, в категории, в поиске и на карточке товара.
Почему это важно? Если вы проводите один эксперимент в месяц, то в год будет всего 12 тестов. Один успешный тест даст прирост выручки в среднем на 3%. При обороте 200 млн. и марже 20% вы получите прибыли всего 1,2 млн. в год. Допустим, что над тестами работают 1-2 человека с зарплатой в 100 тыс. Исследование не окупается. Для запуска пяти тестов нужно всего в полтора раза больше ресурсов, но при этом можно достичь прирост в 15%. ROI (return on investment) при этом будет положительным.
Количество экспериментов одновременно | 1 | 2 | 3 | 4 | 5 |
Количество тестов за год | 12 | 24 | 36 | 48 | 60 |
Количество успешных результатов за год | 1 | 2 | 3 | 4 | 5 |
Прирост выручки за год | 3% | 6% | 9% | 12% | 15% |
Если у вас тесты независимы, тут все просто — по каждому можно принимать решение отдельно. С зависимыми тестами иначе — их нужно проводить параллельно, а не по одному. Но результаты зависимых тестов не всегда просто интерпретировать, особенно, если вы проверяете не гипотезы внешнего вида, а математические механики.
Небольшие изменения на страницах интернет-магазина влияют на конверсию, но довольно мало — прирост обычно около 1-2%. Если вы хотите добиться роста на 7-10%, то можно сравнивать целые конфигурации, содержащие несколько страниц. Основная проблема таких тестов — эффект новизны. Когда вы значительно меняете логику интерфейса, лояльным пользователям будет непривычно использовать новые функции, поэтому сначала показатели сильно снизятся. Чтобы получить статистически достоверные результаты, потребуются более долгие тесты — обычно среднее время привыкания клиента 5-10 заходов на сайт.
Вам будет интересно
Доставляем экспертный контент
Мы делимся с подписчиками экспертным контентом: отправляем полезные статьи, советы от специалистов, приглашаем на вебинары. Подпишитесь, чтобы узнать больше о продвижении бизнеса в Интернете, наших мероприятиях и репортажах с крупных отраслевых событий. Выберите наиболее удобную платформу для вас и наслаждайтесь контентом!
Нажимая на кнопку «Подписаться», я даю согласие на обработку персональных данных и соглашаюсь c политикой конфиденциальности
Мы отправили вам проверочое письмо — пожалуйста, подтвердите адрес электронной почты, перейдя по ссылке внутри письма.
Пожалуйста, попробуйте еще раз