Продвигаем бизнес в Интернете с 2001 года
Вы наверняка применяли A/B-тестирование, но не всегда оно дает достоверные данные. Мы рассмотрим основные причины ошибок и сложности реализации тестов.
Нил Патель перечисляет семь типичных ошибок при проведении A/B-тестирования, которые умудряются допускать даже эксперты. Вот они.
Все кругом рассказывают истории, как одно простое изменение в результате A/B-тестирования подняло конверсии до небес. Разумеется, когда вам показывают внушительные цифры, первое же, что хочется сделать — это под кальку скопировать аб тест на своём сайте. Однако в реальности многие тестируют посадочные страницы неправильно, поэтому нужно уметь читать между строк.
Например, если вы читали известную , у вас могло сложиться впечатление, что красная кнопка призыва к действию работает намного лучше зелёной. Но если как следует вчитаться в текст статьи, станет очевидным, что красная кнопка всего лишь увеличивает прокликивание на 21%. А это ещё не означает повышение конверсии на 21%.
Если кто-то нажал красную кнопку, а не зелёную, вовсе не факт, что этот пользователь охотнее сконвертируется. В статье на Hubspot чётко не указано, что было получено именно увеличение конверсии на 21%.
Это ни в коем случае не означает, что статья бесполезна. Просто необходимо осторожно интерпретировать данные. Если кто-то прокрутил ab тест и получил «выигрышную комбинацию», это ещё ничего не значит. Точно так же не стоит ожидать точного воспроизведения чьих-то результатов на совершенно другом сайте.
Если софт показывает статистически значимые результаты, вы должны закончить а б тестирование, не так ли? В большинстве случаев это было бы верно, но если вам не хватает конверсий на каждой переменной, не стоит останавливать испытания.
Нил предлагает в данном случае руководствоваться его эмпирическим правилом: каждая вариация должна получить как минимум 100 конверсий, а тест нужно вести не меньше двух недель.
Три года назад его команда выполняла a b тестирование проекта Crazy Egg и провела около семи тестов в течение пяти месяцев. Результаты A/B-тестирования показали увеличение конверсии на 41%. Но доходы при этом не увеличились.
Почему? Потому что они не выполняли каждый a b тестирование достаточно долго. Не самая удачная идея — останавливать тест, когда у выигрышного варианта 41 переход, а у проигрышного — 15. Особенно если испытание длилось всего несколько дней.
В долгосрочной перспективе эти результаты не принесли дохода компании. Так что тестируйте варианты посадочных страниц достаточно долго.
Если даже несущественные изменения дают заметные улучшения, что-то явно не так либо с дизайном, либо с текстом на сайте. Такие изменения обычно долго не работают.
Наибольший рост конверсии — результат внесения существенных изменений. Если вы действительно хотите добиться серьёзных результатов, не концентрируйте внимание на мелочах. Уделяйте максимум внимания тому, что вероятнее всего принесёт прибыль.
В самом начале можно попробовать «подкрутить» дизайн и тексты, чтобы посмотреть, что это даст. Но в конечном счёте вам придётся заняться «крупной рыбой».
Идеальный вариант — когда вы выжимаете максимум из крупных изменений на посадочных страницах, и уже потом правите мелочь.
В качестве удачного примера Нил снова приводит сайт Crazy Egg, где основной выигрыш дала замена домашней страницы на длинное «продажное» письмо. Только после этого команда принялась тестировать призывы к действию, цвет кнопок и т.д.
Если вы хотите сходу погрузиться в a b тестирование и начать сравнивать вариации страниц, это нормально. Возможно, у вас всё получится, но скорее всего, вы попросту потеряете деньги.
Вы ведь не являетесь покупателем собственного продукта или услуги, это делают другие люди. Отсюда вопрос: почему надо основывать тесты на вашем мнении о том, что интересно видеть людям?
Вместо этого попробуйте начать с опроса посетителей. Вот пример вопросов:
Получив качественные данные от пользователей, вы сможете точно определить слабые места посыла, внести нужные изменения и протестировать их, чтобы найти наиболее удачный вариант.
Но прежде чем начать тестирование, вам необходимо создать А/А-тест и проверить им текущую версию вашего сайта по отношению к ней же. Это нужно для контроля достоверности измерений.
Как только А/А-тест проходится нормально, можно запускать первый А/B-тест.
Нил рассказывает, что недавно он разговаривал с предпринимателем, который назвал команду в своей компании чуть ли не экспертами в области a b тестирования, поскольку в месяц они запускают больше 20 тестов.
Узнав об этом, Нил начал копать глубже и выяснил, что у сайта большой входящий трафик. Это и позволило компании так быстро открутить тесты. А поскольку страниц на сайте немного, команде дизайнеров было очень просто вносить изменения.
Такой подход, однако, не даёт желаемого результата. Во-первых, тесты основывались на устаревших данных и отрабатывали совсем недолго. По этой причине отдача от внесения изменений была мизерной.
Во-вторых, команда выполнила много тестов с невнятными, проигрышными результатами, что привело к сокращению дохода. Не забывайте: временное сокращение частоты конверсии приводит к временной потере доходности бизнеса.
Если вы можете собрать достаточно исходных данных, создавайте тесты на их основе. Тогда вы многое сможете понять о том, как должны выглядеть страницы. Качественно решить эту задачу в слишком сжатые сроки всё равно нереально.
Не зацикливайтесь на количестве, сосредоточьтесь на качестве. Важно не столько строгое следование графику тестирования, сколько приобретаемые полезные знания. Запуск слишком большого количества тестов вам в этом не помощник.
Тестировать слишком много переменных сразу — чудовищная затея. Мультивариантные тесты работают недостаточно хорошо: когда комбинируются все выигрышные варианты, реальные показатели конверсии заметно ниже тех, что вам обещает сервис тестирования.
Когда вы меняете слишком много переменных сразу без тестирования каждой в отдельности, вы не можете узнать, какие варианты отрабатывают отлично, а какие — только вредят. Поэтому старайтесь вносить лишь одно изменение за раз.
Хороший пример того, как не надо делать — Тима Сайкса. Две недели назад он одним махом поменял видео, заголовок, текст и даже дизайн полей формуляра. Результат — стремительное падение конверсии.
Это не значит, что тест оказался полностью провальным. Но Тим не смог выяснить, какие новые элементы сыграли в плюс, а какие — в минус. Именно поэтому надо было тестировать каждую переменную отдельно.
Помните ли ошибку, упомянутую в самом начале статьи, где HubSpot тестировали прокликиваемость? CTR — это и есть пример микроконверсии. В Hubspot пытались увеличить количество людей, переходящих из одного уровня воронки в другой.
Макроконверсией в том же сценарии было бы тестирование изменения, которое влияло на конверсии. Т.е. стоило тестировать не то, как цвет кнопки влияет на прокликиваемость, а как он влияет на совершение покупки.
Конечно, это не значит, что на микроконверсии вообще не надо смотреть. Просто основное влияние надо уделять всё-таки .
В самом начале Нил пообещал семь ошибок, но не удержался и привёл ещё одну.
По его мнению, самая большая ошибка, которую только можно допустить — это смена дизайна лишь потому, что старый не соответствует духу времени. Нил считает, что дизайн нужно менять не целиком, а по частям, постоянно подстраивая его под вкусы клиентов.
В конечном счёте значение имеет не ваше чувство прекрасного, а способность сайта конвертировать посетителей в покупателей. Поменяв что-то ради красоты, можно нечаянно подрезать себе продажи.
Здесь можно снова привести пример из опыта Тима Сайкса, который запустить обновление сайта потому, что захотел новизны. В первые же часы продажи упали — не из-за технических ошибок, а потому, что новый дизайн был совершенно не отлажен под продажи. Так что Тим был вынужден вернуть старый, проверенный дизайн.
У вас уже есть сайт, дающий результаты. Новый красивый дизайн совершенно не гарантирует рост продаж. Вместо редизайна попробуйте по очереди дорабатывать отдельные элементы.
В комментариях к статье читатели дали ещё несколько полезных советов:
Материал основан на публикации , опубликованной в блоге QuickSprout.
Вам будет интересно
Доставляем экспертный контент
Мы делимся с подписчиками экспертным контентом: отправляем полезные статьи, советы от специалистов, приглашаем на вебинары. Подпишитесь, чтобы узнать больше о продвижении бизнеса в Интернете, наших мероприятиях и репортажах с крупных отраслевых событий. Выберите наиболее удобную платформу для вас и наслаждайтесь контентом!
Нажимая на кнопку «Подписаться», я даю согласие на обработку персональных данных и соглашаюсь c политикой конфиденциальности
Мы отправили вам проверочое письмо — пожалуйста, подтвердите адрес электронной почты, перейдя по ссылке внутри письма.
Пожалуйста, попробуйте еще раз