7 грубых ошибок при A/B-тестировании

Нил Патель перечисляет семь типичных ошибок при проведении A/B-тестирования, которые умудряются допускать даже эксперты. Вот они.

Ошибка #1: верить всему, что читаете

Все кругом рассказывают истории, как одно простое изменение в результате A/B-тестирования подняло конверсии до небес. Разумеется, когда вам показывают внушительные цифры, первое же, что хочется сделать — это под кальку скопировать аб тест на своём сайте. Однако в реальности многие тестируют посадочные страницы неправильно, поэтому нужно уметь читать между строк.

Например, если вы читали известную статью про A/B-тестирование на Hubspot, у вас могло сложиться впечатление, что красная кнопка призыва к действию работает намного лучше зелёной. Но если как следует вчитаться в текст статьи, станет очевидным, что красная кнопка всего лишь увеличивает прокликивание на 21%. А это ещё не означает повышение конверсии на 21%.

Если кто-то нажал красную кнопку, а не зелёную, вовсе не факт, что этот пользователь охотнее сконвертируется. В статье на Hubspot чётко не указано, что было получено именно увеличение конверсии на 21%.

Это ни в коем случае не означает, что статья бесполезна. Просто необходимо осторожно интерпретировать данные. Если кто-то прокрутил ab тест и получил «выигрышную комбинацию», это ещё ничего не значит. Точно так же не стоит ожидать точного воспроизведения чьих-то результатов на совершенно другом сайте.

Ошибка #2: заканчивать тесты, когда они являются статистически значимыми

Если софт показывает статистически значимые результаты, вы должны закончить а б тестирование, не так ли? В большинстве случаев это было бы верно, но если вам не хватает конверсий на каждой переменной, не стоит останавливать испытания.

Нил предлагает в данном случае руководствоваться его эмпирическим правилом: каждая вариация должна получить как минимум 100 конверсий, а тест нужно вести не меньше двух недель.

Три года назад его команда выполняла a b тестирование проекта Crazy Egg и провела около семи тестов в течение пяти месяцев. Результаты A/B-тестирования показали увеличение конверсии на 41%. Но доходы при этом не увеличились.

Почему? Потому что они не выполняли каждый a b тестирование достаточно долго. Не самая удачная идея — останавливать тест, когда у выигрышного варианта 41 переход, а у проигрышного — 15. Особенно если испытание длилось всего несколько дней.

В долгосрочной перспективе эти результаты не принесли дохода компании. Так что тестируйте варианты посадочных страниц достаточно долго.

Ошибка #3: ждать весомых результатов от крохотных изменений

Если даже несущественные изменения дают заметные улучшения, что-то явно не так либо с дизайном, либо с текстом на сайте. Такие изменения обычно долго не работают.

Наибольший рост конверсии — результат внесения существенных изменений. Если вы действительно хотите добиться серьёзных результатов, не концентрируйте внимание на мелочах. Уделяйте максимум внимания тому, что вероятнее всего принесёт прибыль.

В самом начале можно попробовать «подкрутить» дизайн и тексты, чтобы посмотреть, что это даст. Но в конечном счёте вам придётся заняться «крупной рыбой».

Идеальный вариант — когда вы выжимаете максимум из крупных изменений на посадочных страницах, и уже потом правите мелочь.

В качестве удачного примера Нил снова приводит сайт Crazy Egg, где основной выигрыш дала замена домашней страницы на длинное «продажное» письмо. Только после этого команда принялась тестировать призывы к действию, цвет кнопок и т.д.

Ошибка #4: начинать тестирование с придумывания теста

Если вы хотите сходу погрузиться в a b тестирование и начать сравнивать вариации страниц, это нормально. Возможно, у вас всё получится, но скорее всего, вы попросту потеряете деньги.

Вы ведь не являетесь покупателем собственного продукта или услуги, это делают другие люди. Отсюда вопрос: почему надо основывать тесты на вашем мнении о том, что интересно видеть людям?

Вместо этого попробуйте начать с опроса посетителей. Вот пример вопросов:

• Что еще вы хотели бы видеть на этой странице?
• Что мы можем вам помочь?
• Почему вы не завершили покупку? (Отличный вопрос для страницы оплаты, который можно задать, если пользователь ничего не делает полминуты.)
• Как мы могли бы убедить вас завершить покупку?

Получив качественные данные от пользователей, вы сможете точно определить слабые места посыла, внести нужные изменения и протестировать их, чтобы найти наиболее удачный вариант.

Но прежде чем начать тестирование, вам необходимо создать А/А-тест и проверить им текущую версию вашего сайта по отношению к ней же. Это нужно для контроля достоверности измерений.

Как только А/А-тест проходится нормально, можно запускать первый А/B-тест.

Ошибка #5: регулярно выполнять множество тестов

Нил рассказывает, что недавно он разговаривал с предпринимателем, который назвал команду в своей компании чуть ли не экспертами в области a b тестирования, поскольку в месяц они запускают больше 20 тестов.

Узнав об этом, Нил начал копать глубже и выяснил, что у сайта большой входящий трафик. Это и позволило компании так быстро открутить тесты. А поскольку страниц на сайте немного, команде дизайнеров было очень просто вносить изменения.

Такой подход, однако, не даёт желаемого результата. Во-первых, тесты основывались на устаревших данных и отрабатывали совсем недолго. По этой причине отдача от внесения изменений была мизерной.

Во-вторых, команда выполнила много тестов с невнятными, проигрышными результатами, что привело к сокращению дохода. Не забывайте: временное сокращение частоты конверсии приводит к временной потере доходности бизнеса.

Если вы можете собрать достаточно исходных данных, создавайте тесты на их основе. Тогда вы многое сможете понять о том, как должны выглядеть страницы. Качественно решить эту задачу в слишком сжатые сроки всё равно нереально.

Не зацикливайтесь на количестве, сосредоточьтесь на качестве. Важно не столько строгое следование графику тестирования, сколько приобретаемые полезные знания. Запуск слишком большого количества тестов вам в этом не помощник.

Ошибка #6: чем больше переменных, тем лучше

Тестировать слишком много переменных сразу — чудовищная затея. Мультивариантные тесты работают недостаточно хорошо: когда комбинируются все выигрышные варианты, реальные показатели конверсии заметно ниже тех, что вам обещает сервис тестирования.

Когда вы меняете слишком много переменных сразу без тестирования каждой в отдельности, вы не можете узнать, какие варианты отрабатывают отлично, а какие — только вредят. Поэтому старайтесь вносить лишь одно изменение за раз.

Хороший пример того, как не надо делать — рекламное письмо Тима Сайкса. Две недели назад он одним махом поменял видео, заголовок, текст и даже дизайн полей формуляра. Результат — стремительное падение конверсии.

Это не значит, что тест оказался полностью провальным. Но Тим не смог выяснить, какие новые элементы сыграли в плюс, а какие — в минус. Именно поэтому надо было тестировать каждую переменную отдельно.

Ошибка #7: тестировать микроконверсии

Помните ли ошибку, упомянутую в самом начале статьи, где HubSpot тестировали прокликиваемость? CTR — это и есть пример микроконверсии. В Hubspot пытались увеличить количество людей, переходящих из одного уровня воронки в другой.

Макроконверсией в том же сценарии было бы тестирование изменения, которое влияло на конверсии. Т.е. стоило тестировать не то, как цвет кнопки влияет на прокликиваемость, а как он влияет на совершение покупки.

Конечно, это не значит, что на микроконверсии вообще не надо смотреть. Просто основное влияние надо уделять всё-таки макроконверсиям.

Ошибка #8: запуск нового дизайна

В самом начале Нил пообещал семь ошибок, но не удержался и привёл ещё одну.

По его мнению, самая большая ошибка, которую только можно допустить — это смена дизайна лишь потому, что старый не соответствует духу времени. Нил считает, что дизайн нужно менять не целиком, а по частям, постоянно подстраивая его под вкусы клиентов.

В конечном счёте значение имеет не ваше чувство прекрасного, а способность сайта конвертировать посетителей в покупателей. Поменяв что-то ради красоты, можно нечаянно подрезать себе продажи.

Здесь можно снова привести пример из опыта Тима Сайкса, который запустить обновление сайта потому, что захотел новизны. В первые же часы продажи упали — не из-за технических ошибок, а потому, что новый дизайн был совершенно не отлажен под продажи. Так что Тим был вынужден вернуть старый, проверенный дизайн.

У вас уже есть сайт, дающий результаты. Новый красивый дизайн совершенно не гарантирует рост продаж. Вместо редизайна попробуйте по очереди дорабатывать отдельные элементы.

В комментариях к статье читатели дали ещё несколько полезных советов:

• При тестировании выборка должна быть единообразной. Если на один тест пришлось 5000 просмотров, то и остальные нужно проводить на той же выборке.
• Менять условия a b тестирования на ходу крайне не рекомендуется. Если в ходе тестирования дополнительно экспериментировать, скажем, с SEO, получить достоверные данные будет скорее всего невозможно.
• Не стоит считать результаты а б тестирования сайта окончательными. Это бесконечный процесс, хотя некоторые компании, по выражению комментатора, считают, что преследуют потерянный банковский сейф с золотом.
• Лучше не доверять краткосрочным результатам, которые нельзя повторить. Комментатор привёл пример, когда на время местных спортивных состязаний цвета команды города в элементах сайта давали наилучший результат. А неделю спустя, по завершении соревнований, они переставали работать.
• Наконец, один из участников дискуссии в комментариях отметил, что падение продаж после смены дизайна часто происходит из-за того, что возвращающиеся покупатели с непривычки путаются. В качестве примера он привёл случай, когда смена дизайна сопутствовала смене CMS, без которой был невозможен рост бизнеса его клиента. На некоторое время продажи упали, но в итоге нового витка оптимизации их темпы удалось вернуть, а новая платформа помогла клиенту расти дальше.

Материал основан на публикации "7-ab-testing-blunders-that-even-experts-make", опубликованной в блоге QuickSprout.