A/B-тест
Сравнение двух версий страницы или креатива на реальной аудитории
Определение
A/B-тест проверяет гипотезы так: аудитория случайным образом делится на группы, одна видит версию A (контрольную), другая версию B (с изменением). По итогам сравнивают целевую метрику (конверсию, CTR, средний чек) и оставляют версию, которая показала статистически значимо лучший результат.
A/B-тестирование заменяет споры о вкусах данными. Тестировать можно практически всё: заголовки и офферы посадочных страниц, формы заявок, цены и тарифные сетки, рекламные креативы, темы писем. Ключевое условие корректности: случайное разделение трафика и достаточный объём данных для статистической значимости.
Пример
Лендинг A с текущим оффером даёт конверсию 2,1%, версия B с переписанным первым экраном даёт 2,8%. На 8 000 посетителей в каждой группе (168 против 224 заявок) разница статистически значима: версия B приносит примерно на 33% больше заявок при том же рекламном бюджете. При расходах 300 000 ₽/мес это эквивалентно снижению CPL с 1 785 ₽ до 1 339 ₽.
Почему это важно
Конверсию системно растят главным образом через A/B-тесты. Вместо разовых «редизайнов по ощущениям», которые могут как поднять, так и уронить показатели, бизнес получает управляемый процесс: гипотеза → тест → измеримый результат. Каждый выигранный тест закрепляет более низкую стоимость заявки: эффект накапливается от эксперимента к эксперименту.
Не менее ценны «проигранные» тесты: они защищают от вредных изменений. Без теста неудачный новый дизайн просто внедряют, и месяцами не понимают, почему просели заявки. С тестом ущерб ограничен долей трафика и сроком эксперимента, а команда получает знание о том, что для аудитории не работает.
Ориентиры
По разным оценкам, 70–80% A/B-тестов не показывают статистически значимой разницы, и это нормальная база процесса, а не признак неудачи. Выигрышные тесты мелких элементов (кнопки, цвета) обычно дают единицы процентов прироста; тесты офферов, заголовков и форм 10–30%; радикальные изменения структуры страницы иногда приносят 30–50% и больше.
Для надёжных выводов, как правило, нужно от 200–300 конверсий на каждый вариант и минимум 1–2 полные недели теста, чтобы охватить недельную цикличность поведения. На сайтах с трафиком меньше 5 000–10 000 визитов в месяц классические A/B-тесты часто нецелесообразны: изменения там разумнее проверять последовательно, сравнивая периоды.
Примерные значения, чтобы понимать порядок цифр. В вашей нише они могут быть другими.
Как улучшить
- 01
Тестировать сначала сильные гипотезы
Оффер, заголовок первого экрана, состав формы, цена: изменения с потенциальным эффектом в десятки процентов. Цвет кнопки и скругление углов дают эффект в доли процента, который при типичном трафике невозможно даже измерить. Приоритизируйте бэклог гипотез по потенциалу влияния на деньги.
- 02
Рассчитывать размер выборки до запуска
До старта определите минимально интересный эффект (например, +15% к конверсии) и посчитайте в калькуляторе выборки, сколько нужно визитов. Если требуемый объём набирается за 3 месяца, гипотеза слишком мелкая для вашего трафика, берите более радикальную.
- 03
Вести журнал экспериментов
Фиксируйте гипотезу, скриншоты вариантов, длительность, результат и вывод. Журнал защищает от повторного тестирования одного и того же, накапливает знание об аудитории и позволяет новым сотрудникам не наступать на старые грабли.
Распространённые ошибки
- −01
Останавливать тест при первых «красивых» цифрах
В первые дни разница между вариантами скачет случайным образом: вариант B может «выигрывать 40%» при 20 конверсиях и проиграть на дистанции. Решение принимают только по заранее рассчитанной выборке и полным неделям, а не в момент, когда график понравился.
- −02
Менять несколько элементов в одном варианте
Если в версии B одновременно новый заголовок, другая форма и другие цены, вы не узнаете, что именно сработало, и не сможете перенести знание на другие страницы. Одна гипотеза, одно ключевое изменение. Для переделок сразу нескольких элементов честнее назвать тест «редизайн против старой версии».
Частые вопросы
- Сколько должен длиться A/B-тест?
- Минимум 1–2 полные недели и до набора расчётной выборки: как правило, от 200–300 конверсий на вариант. Самая частая причина ложных выводов: тест останавливают раньше, потому что «уже видно победителя».
- Что делать, если трафика мало для тестов?
- При малом трафике разумнее тестировать радикальные изменения (новый оффер вместо нового цвета кнопки): крупный эффект требует меньшей выборки. Либо сравнивать периоды до/после изменения, понимая ограниченную надёжность такого метода, либо сначала инвестировать в рост трафика.
Связанные термины
Статьи с этим термином
Скажем, сколько это будет стоить.
Оставьте заявку. Обычно отвечаем в течение 30 минут в рабочее время. Обсудим проект и бесплатно назовём примерную стоимость и срок.
Офис: ул. Коммунистическая, 35, Саранск · Пн–Пт 09:00–18:00