A/B-тест
Сравнение двух версий страницы или креатива на реальной аудитории
— Определение
A/B-тест — это метод проверки гипотез, при котором аудитория случайным образом делится на группы: одна видит версию A (контрольную), другая — версию B (с изменением). По итогам сравнивают целевую метрику — конверсию, CTR, средний чек — и оставляют версию, которая показала статистически значимо лучший результат.
A/B-тестирование заменяет споры о вкусах данными. Тестировать можно практически всё: заголовки и офферы посадочных страниц, формы заявок, цены и тарифные сетки, рекламные креативы, темы писем. Ключевое условие корректности — случайное разделение трафика и достаточный объём данных для статистической значимости.
— Пример
Лендинг A с текущим оффером даёт конверсию 2,1%, версия B с переписанным первым экраном — 2,8%. На 8 000 посетителей в каждой группе (168 против 224 заявок) разница статистически значима: версия B приносит примерно на 33% больше заявок при том же рекламном бюджете. При расходах 300 000 ₽/мес это эквивалентно снижению CPL с 1 785 ₽ до 1 339 ₽.
— Почему это важно
A/B-тесты — основной инструмент системного роста конверсии. Вместо разовых «редизайнов по ощущениям», которые могут как поднять, так и уронить показатели, бизнес получает управляемый процесс: гипотеза → тест → измеримый результат. Каждый выигранный тест закрепляет более низкую стоимость заявки — эффект накапливается от эксперимента к эксперименту.
Не менее ценны «проигранные» тесты: они защищают от вредных изменений. Без теста неудачный новый дизайн просто внедряют — и месяцами не понимают, почему просели заявки. С тестом ущерб ограничен долей трафика и сроком эксперимента, а команда получает знание о том, что для аудитории не работает.
— Бенчмарки
По разным оценкам, 70–80% A/B-тестов не показывают статистически значимой разницы — это нормальная база процесса, а не признак неудачи. Выигрышные тесты мелких элементов (кнопки, цвета) обычно дают единицы процентов прироста; тесты офферов, заголовков и форм — 10–30%; радикальные изменения структуры страницы иногда приносят 30–50% и больше.
Для надёжных выводов как правило нужно от 200–300 конверсий на каждый вариант и минимум 1–2 полные недели теста, чтобы охватить недельную цикличность поведения. На сайтах с трафиком меньше 5 000–10 000 визитов в месяц классические A/B-тесты часто нецелесообразны — изменения там разумнее проверять последовательно, сравнивая периоды.
— Как улучшить
- 01
Тестировать сначала сильные гипотезы
Оффер, заголовок первого экрана, состав формы, цена — изменения с потенциальным эффектом в десятки процентов. Цвет кнопки и скругление углов — эффект в доли процента, который при типичном трафике невозможно даже измерить. Приоритизируйте бэклог гипотез по потенциалу влияния на деньги.
- 02
Рассчитывать размер выборки до запуска
До старта определите минимально интересный эффект (например, +15% к конверсии) и посчитайте в калькуляторе выборки, сколько нужно визитов. Если требуемый объём набирается за 3 месяца — гипотеза слишком мелкая для вашего трафика, берите более радикальную.
- 03
Вести журнал экспериментов
Фиксируйте гипотезу, скриншоты вариантов, длительность, результат и вывод. Журнал защищает от повторного тестирования одного и того же, накапливает знание об аудитории и позволяет новым сотрудникам не наступать на старые грабли.
— Распространённые ошибки
- −01
Останавливать тест при первых «красивых» цифрах
В первые дни разница между вариантами скачет случайным образом — вариант B может «выигрывать 40%» при 20 конверсиях и проиграть на дистанции. Решение принимают только по заранее рассчитанной выборке и полным неделям, а не в момент, когда график понравился.
- −02
Менять несколько элементов в одном варианте
Если в версии B одновременно новый заголовок, другая форма и другие цены — вы не узнаете, что именно сработало, и не сможете перенести знание на другие страницы. Одна гипотеза — одно ключевое изменение. Для комплексных переделок честнее назвать тест «редизайн против старой версии».
— Частые вопросы
- Сколько должен длиться A/B-тест?
- Минимум 1–2 полные недели и до набора расчётной выборки — как правило, от 200–300 конверсий на вариант. Останавливать тест раньше, потому что «уже видно победителя», — самая частая причина ложных выводов.
- Что делать, если трафика мало для тестов?
- При малом трафике разумнее тестировать радикальные изменения (новый оффер вместо нового цвета кнопки) — крупный эффект требует меньшей выборки. Либо сравнивать периоды до/после изменения, понимая ограниченную надёжность такого метода, либо сначала инвестировать в рост трафика.
— Связанные термины
Давайте
поговорим о задаче.
Оставьте заявку — свяжемся в течение 30 минут в рабочее время, обсудим проект и пришлём первичную оценку бесплатно.