A/B-тест нужен, когда вы спорите о том, какой вариант лучше: заголовок на сайте, цена в объявлении, текст рассылки, фото в карточке товара. Вместо того чтобы решать на вкус, оба варианта показывают одновременно, а выбирает поведение клиентов.
Для малого бизнеса главный подвох в другом: трафика мало, а вывод хочется сделать быстро. Поэтому важно понимать не только как запустить тест, но и когда его результатам можно верить.
Как это работает
Посетителей случайно делят на две группы: одна видит вариант A, другая — вариант B. Всё остальное одинаково: время, реклама, цена. В конце сравнивают конверсию — долю тех, кто оставил заявку или купил. Для объявлений часто смотрят CTR, но решает всё же доля заявок и продаж, а не кликов.
Многие рекламные кабинеты и конструкторы сайтов умеют делить трафик сами. Если такой функции нет, тест можно провести вручную, например через две копии лендинга с разными UTM-метками в одной рекламной кампании.
Почему мало данных — не вывод
Условный пример. Детская школа робототехники проверяет два заголовка. Каждый вариант увидели 200 человек: A принёс 6 заявок (3 %), B — 10 (5 %). Похоже, что B лучше в 1,7 раза.
Но заявки приходят случайно, как выпадают кубики. Мы смоделировали в программе ситуацию, где оба заголовка на самом деле одинаковы и каждый приводит 4 % посетителей. При 200 показах на вариант разница в 4 заявки и больше в ту или другую сторону выпадала больше чем в трети случаев. То есть такой «победитель» легко получается из двух одинаковых страниц.
Теперь пусть каждый вариант увидели 2 000 человек, а заявок 60 и 100 — те же 3 % и 5 %. В той же модели с одинаковыми заголовками разница в 40 заявок выпадала примерно в 1–2 случаях из 1 000. Такому результату уже можно доверять. Вывод: важна не доля в процентах, а сколько за ней заявок.
Чем отличается от сравнения «до и после»
Часто вместо теста меняют сайт и сравнивают месяц до и месяц после. Но за это время меняется всё: сезон, конкуренты, ставки в рекламе. Если в сентябре заявок стало больше, причиной может быть начало учебного года, а не новый заголовок. В A/B-тесте варианты работают в одно время и на одной аудитории, поэтому разница объясняется самим изменением.
Частые ошибки
- Менять сразу заголовок, цену и кнопку — потом не понять, что сработало.
- Останавливать тест в момент, когда один вариант вырвался вперёд.
- Тестировать меньше полной недели: в будни и выходные приходят разные люди.
- Тестировать мелочи вроде цвета кнопки, когда трафика хватает только на крупные изменения: оффер, цену, первый экран.
- Считать победу по кликам, а не по заявкам и продажам.
Что сделать предпринимателю
Заранее решите, что меняете, какой показатель считаете и сколько посетителей наберёте, — и не подглядывайте в итог раньше времени. Если трафика мало, тестируйте крупные различия: они заметны и на небольших числах. Во франшизе спросите сеть, какие варианты рекламы и сайта уже проверены на других точках, — это сэкономит месяцы.