Команда готовит новый рекламный запуск. Вместо прежнего объявления будет другой сюжет, вместо каталога отдельная страница, а показы планируют направить новой аудитории. Если результат окажется лучше, захочется назвать причиной удачный текст. Но одновременно изменилось слишком многое, чтобы такой вывод следовал из самого сравнения.
Выбор плана зависит от вопроса. Если нужно решить, оставить ли новый набор решений целиком, можно проверять его как единое предложение. Если важно понять роль текста, аудитории или страницы, потребуются отдельные сравнения. Сначала определите, какой вывод понадобится для следующего действия, и только потом выбирайте способ запуска.
Пакет изменений тоже может быть предметом проверки
Не обязательно разбирать каждое изменение по отдельности. Иногда команда выбирает между двумя целостными способами привлечения покупателей и готова внедрить победивший вариант полностью.
Представим дилера, который сравнивает общий рассказ о модели с предложением для конкретного сценария использования. Второй вариант требует своего объявления и своей страницы: по отдельности они теряют смысл. Тогда предмет проверки нужно так и назвать. Вы сравниваете два предложения целиком, а не выясняете, какая фотография сильнее влияет на интерес посетителя.
Заранее определите, что будете делать с результатом. Если новый вариант подходит, команда сохраняет его состав и проверенные условия показа. Нельзя взять из него только заголовок и ожидать прежнего эффекта. Для такого переноса понадобится новое сравнение. Чётко названный предмет эксперимента защищает от слишком широкого вывода даже при убедительно выглядящих цифрах.
Отдельные гипотезы помогают выбрать конкретное действие
Разделение полезно, когда решения можно менять независимо. Например, команда хочет обновить текст объявления, но пока сохранить ту же аудиторию и ту же страницу.
В этом случае варианты должны отличаться именно проверяемым текстом. Проверьте не только макеты, но и настройки, адрес перехода, доступность автомобилей. Если в одном варианте посетитель получает другое предложение, сравнение уже отвечает на более широкий вопрос. Аналитик должен увидеть это до запуска, а не объяснять различие после получения отчёта.
Можно начать с изменения, которое требует меньше последующих переделок. Но удобство запуска не заменяет смысла: сначала проверьте допущение, от которого зависит дальнейшая работа. Если новая страница рассчитана на другой запрос покупателя, тест небольшого изменения кнопки в старой странице может оказаться бесполезным для предстоящего решения команды.
Последовательные запуски меняют условия сравнения
Результаты двух периодов нельзя автоматически объяснять только рекламным изменением. Вместе со временем могли измениться спрос, наличие машин, обработка обращений и состав посетителей.
Поэтому запись «сначала старый вариант, потом новый» ещё не описывает эксперимент. Зафиксируйте, какие условия сохранялись и какие поменялись между запусками. Если отдел продаж начал отвечать быстрее одновременно с заменой страницы, общий итог не позволяет отделить эти действия. Такое наблюдение полезно, но оно требует более осторожного объяснения.
Когда технические возможности позволяют сравнивать варианты одновременно при сопоставимых условиях, сезонные и организационные сдвиги легче учитывать. Но само одновременное включение кампаний не обеспечивает равенства аудиторий. Способ распределения, достаточность наблюдений и метод оценки обсуждают с аналитиком заранее. Эта статья помогает поставить вопрос, а не заменяет расчёт статистической надёжности.
Сочетание решений иногда важнее каждого из них
Объявление и страница могут работать по-разному в зависимости друг от друга. Удачный текст для одной страницы не обязан давать тот же результат с другой.
Допустим, объявление приглашает сравнить варианты семейного автомобиля. Страница с наглядным сравнением продолжает это обещание, а общая форма запроса требует от человека дополнительной работы. Если текст выигрывает только в первом сочетании, вывод касается связки. Объявлять его универсально лучшим вариантом для всего сайта было бы преждевременно.
Для проверки сочетаний потребуется больше вариантов и достаточно наблюдений по каждому. Если ресурсов мало, разумнее сузить вопрос. Можно проверить один целостный вариант или последовательно уточнять отдельные решения, сохраняя ограничения вывода. Сложная схема, в которой каждой комбинации досталось слишком мало данных, не становится убедительнее только из-за количества условий.
Запишите будущий вывод до старта
Короткое описание эксперимента должно содержать вопрос, различия вариантов, сохраняемые условия и действие после результата. Это позволяет заранее заметить, способен ли запуск ответить на поставленный вопрос.
Сформулируйте вывод условно: если новое предложение покажет подходящий результат по выбранному критерию, мы перенесём его целиком. Или: если новый текст окажется предпочтительнее в сопоставимом сравнении, заменим текст, сохранив страницу. Когда невозможно закончить такую фразу без догадок, план ещё не готов. Возможно, команда пытается решить несколько разных задач одним запуском.
После завершения отдельно запишите наблюдение и его объяснение. Наблюдение описывает полученные результаты, объяснение связывает их с проверенным различием и оговорёнными ограничениями. Если условия существенно изменились, это отражают в решении о повторной проверке. Следующий эксперимент выбирают из оставшегося вопроса, а не просто продолжают менять всё по кругу.
Всегда ли нужно менять только один элемент рекламы?
Нет. Можно сравнивать целостные предложения, если решение касается их внедрения целиком. Но такой результат не устанавливает отдельный эффект каждого элемента.
Достаточно ли сравнить показатели до и после замены страницы?
Такое сравнение показывает изменение показателей, но не обязательно его причину. Нужно учитывать другие изменения между периодами и заранее выбирать подходящий способ оценки.
Что делать, если наблюдений недостаточно для сложного теста?
Сузить вопрос и число проверяемых вариантов либо отложить вывод до накопления достаточных наблюдений. Недостаток данных нельзя исправить более уверенной формулировкой отчёта.
