Что такое A/B-тест рекламы
A/B-тест — эксперимент, в котором сопоставимые группы получают разные варианты, а результат сравнивают по заранее выбранному показателю. Для вывода о влиянии изменения важно случайное распределение участников и одинаковые условия, кроме проверяемого различия.
Два разных поста в двух каналах могут дать полезные наблюдения, но у каналов разные читатели, время выхода и соседние публикации. Приписать всю разницу одному заголовку в таком случае нельзя.
Одна гипотеза, заранее заданные группы, способ распределения и правило анализа.
Разные реальные выходы с несколькими меняющимися условиями. Подсказывает следующие проверки, но слабее объясняет причину разницы.
Это не запрет пробовать новые подачи. Просто слово «тест» не должно превращать обычную закупку в лабораторию на бумаге.
Сформулируйте одно проверяемое различие
«Посмотрим, что лучше работает» оставляет слишком много места для удобного объяснения задним числом. Запишите, что именно меняется, почему это может повлиять на человека и какое событие будет результатом.
В рекламе сервиса расписания студии вариант, начинающийся с демонстрации переноса записи, увеличит долю принятых заявок на показ сервиса по сравнению с вариантом о функциях. Тариф, изображение, аудитория, страница перехода и порядок обработки остаются одинаковыми.
Начать с состава продукта
«Расписание, клиентская база и история записей — в одном сервисе для студии».
Начать с рабочего действия
«Перенесли запись — проверьте новое время и занятого мастера в одном расписании».
Это вымышленный продукт и оригинальные учебные тексты. Перед реальным запуском нужно проверить, что продукт действительно делает обещанное. Если одновременно заменить заголовок, картинку, цену и страницу, получится сравнение двух предложений целиком. Выяснить вклад каждого элемента отдельно по нему не выйдет.
Что записать до запуска
Короткий протокол полезнее отчёта, который объясняет любой исход победой. Его можно составить в обычном документе и сохранить вместе с версиями объявлений.
Кого или что делим: пользователей, визиты или другую единицу. Где возможны повторные попадания и пересечения между вариантами.
Что считаем результатом и по каким правилам. Например: принятая заявка на демонстрацию, без дублей и технических отправок.
Те же предложение, география, период работы, страница и обработка. Отдельно фиксируем неизбежные различия.
План данных и анализа с учётом исходной частоты события, полезного бизнесу изменения и выбранного статистического метода.
Как оцениваем неопределённость, затраты и качество обращений; что делаем, если различие неубедительно.
Универсального правила «хватит тысячи показов» нет. Редкое событие требует иных объёмов, чем частый клик. Если доступного потока недостаточно, лучше признать ограничение и проверить понятность подачи качественно, чем выбирать победителя из двух заявок.
Как организовать сравнение
Используйте штатный механизм экспериментов выбранной системы, когда он подходит задаче. В Яндекс Директе есть отдельные A/B-эксперименты: варианты, доли выборок, метрика и отчёт задаются в интерфейсе. Доступность для конкретного типа кампании нужно проверить по актуальной справке.
Оба варианта действительно запущены, ведут на рабочую страницу и получают подходящий трафик. Нельзя сравнивать успешную кампанию с той, которая простояла на модерации.
Клик, открытая форма, успешная отправка и принятая заявка учитываются раздельно. Одинаковая ошибка счётчика не становится правильной аналитикой.
Изменения продукта, страниц, бюджета и обработки записывайте в журнал. Существенный сбой может потребовать нового эксперимента.
Не останавливайте проверку при первом удобном всплеске. Частое подглядывание и выбор момента остановки по результату требуют подходящего статистического метода; обычный анализ фиксированного эксперимента не учитывает эту вольность автоматически.
Почему больше кликов не означает больше подходящих заявок
Ниже вымышленные данные, выбранные для объяснения арифметики. Это не результат кампании и не расчёт статистической значимости. Допустим, расходы у двух вариантов одинаковы, а одинаковый способ учёта показов уже проверен.
| Показатель | A | B |
|---|---|---|
| Показы | 5 000 | 5 000 |
| Клики | 100 | 150 |
| CTR: клики / показы | 2% | 3% |
| Принятые заявки | 8 | 6 |
| Принятые заявки / клики | 8% | 4% |
У B CTR выше на один процентный пункт, или на 50% относительно A. Но принятых заявок в этой таблице меньше. Возможно, формулировка привлекла больше любопытных. Возможно, числа просто колеблются. Без плана эксперимента и оценки неопределённости ни одно объяснение нельзя объявить доказанным.
Таблица показывает наблюдаемые отношения чисел. Она сама по себе не доказывает, что B лучше или хуже, и не позволяет перенести результат на другую аудиторию.
Смотрите основной показатель вместе с качеством и стоимостью. Если бизнес получает неподходящие обращения, дешёвый клик не спасает экономику. При этом не заменяйте заранее выбранный критерий другим только потому, что новая цифра выглядит веселее.
Как проверять подачу в посевах Telegram и ВКонтакте
При закупке отдельных публикаций обычно нет случайного распределения всех читателей между двумя равными группами. Поэтому сохраняйте название площадки, период, формат, условия, просмотры в одинаковом окне и доступные последующие действия. Сравнение остаётся полезным, если не скрывать его ограничения.
Собираем реакции на конкретный вопрос, сравниваем понятность и соответствие предложения. Следующие размещения уточняют наблюдения.
Разница аудитории, соседних выходов, времени и доверия к автору тоже может влиять на результат.
Для деловой книги или подходящего экспертного продукта можно обсудить выход в нашем канале «Книги на миллион». Выберем материал, понятный читателям канала, и заранее согласуем доступные данные. Один такой выход не называем доказательством превосходства заголовка над всеми другими.
Что должно остаться после теста
Сохраните версии, протокол, данные и вывод с границами. Хороший результат бывает трёх видов: есть убедительные основания для изменения; различие недостаточно ясно; эксперимент сломался и не отвечает на вопрос. Последние два исхода неприятны, зато не заставляют тратить следующие деньги на выдуманную закономерность.
Разделяйте вывод об этой проверке и более широкое предположение. «В выбранных условиях получили такой результат» — рабочая запись. «Люди всегда любят вопросы в заголовках» — уже рекламная астрология.
Спланируем проверку до закупки размещений
Обсудим предложение, варианты подачи и площадки Telegram или ВКонтакте. Согласуем доступные показатели и границы сравнения, чтобы отчёт отвечал на исходный вопрос.
Источники и учебные данные
Обновлено 3 ноября 2026. Сервис, тексты и таблица вымышлены редакцией. Статистическая значимость чисел примера не рассчитывалась; они показывают различие кликов и принятых заявок.
- Яндекс Директ: A/B-эксперименты — гипотеза, варианты, выборки и анализ в штатном инструменте.
- Метрика: отчёт «Директ, эксперименты» — сравнение групп и оценка результата.