Четыре заявки у первого сообщения и семь у второго выглядят как убедительная победа. Но для решения о бюджете важны не только эти два числа. Нужно знать, сколько людей могло оставить заявку, как распределялись варианты и одинаково ли команда обрабатывала обращения.
Этот материал помогает спланировать небольшой тест рекламного сообщения и честно прочитать результат. Он не задаёт универсального минимального числа кликов. Все числовые примеры ниже учебные и не являются кейсами KUZKO.
Запишите решение, ради которого нужен тест
Начните с конкретного выбора. Например: стоит ли заменить приглашение на общую консультацию предложением разобрать одну задачу клиента? «Посмотреть, что лучше работает» оставляет слишком много способов объявить успех задним числом.
В карточке эксперимента укажите, что меняется, какой результат сравнивается и какое различие имеет практический смысл. Если для бизнеса важны подходящие заявки, главным показателем не должно внезапно стать число реакций на публикацию.
Руководство Google по экспериментам рекомендует заранее формулировать гипотезу, выбирать показатели и менять одну переменную. Это полезная дисциплина планирования. Однако её применение вне рекламного кабинета не создаёт автоматически случайное распределение аудитории.
Определите единицу сравнения
Нужно понимать, кто или что получает вариант A либо B: посетитель сайта, пользователь рекламной системы, отдельная группа или временной интервал. Повторные визиты одного человека не следует безоговорочно считать независимыми людьми.
Два сообщения в разных Telegram-сообществах обычно не образуют чистый тест формулировки. Аудитория, правила, время и контекст обсуждения тоже различаются. В таком случае называйте работу сравнительным пилотом и фиксируйте ограничения вывода.
Если единицей распределения служит сообщество, анализ по отдельным кликам может недооценить зависимость участников внутри него. Для строгого вывода нужен подход, учитывающий выбранную единицу распределения. При отсутствии такого анализа результаты полезны для поиска гипотез, но слабее подходят для утверждения о причине различий.
Составьте протокол до запуска
Предлагаемый шаблон можно заполнить в обычной таблице. Его задача - сохранить условия сравнения, а не усложнить запуск.
| Поле | Что записать |
|---|---|
| Гипотеза | Какое одно изменение должно повлиять на поведение |
| Варианты | Полные тексты A и B с датой фиксации |
| Распределение | Кто получает вариант и как предотвращается смешение |
| Главный показатель | Например, доля подходящих заявок среди допустимых участников |
| Защитные показатели | Отказы, жалобы, ошибки и нагрузка на менеджера |
| Окончание | Заранее согласованный объём наблюдений и срок |
| Задержка результата | Когда заявку можно считать обработанной |
| Решение | Что делать при выигрыше, проигрыше и недостатке данных |
Не меняйте одновременно вступление, цену, аудиторию и посадочную страницу, если хотите проверить именно текст. Если изменить несколько элементов необходимо, проверяйте весь новый сценарий целиком и так его называйте.
Почему семь заявок ещё не доказывают победу
Условный пример: вариант A дал 4 заявки среди 80 независимых участников, вариант B - 7 среди 80. Наблюдаемые доли равны 5% и 8,75%. Разность составляет 3,75 процентного пункта, а относительное увеличение - 75%. Последнее число звучит особенно сильно именно из-за небольшой исходной доли.
Чтобы показать неопределённость каждой доли, рассчитаем отдельные 95-процентные интервалы Уилсона. Формула приведена в справочнике NIST по доверительным интервалам для пропорций. Результаты ниже получены редакционным расчётом по этой формуле с округлением до сотых.
| Вариант | Заявки / участники | Наблюдаемая доля | Интервал Уилсона 95% |
|---|---|---|---|
| A | 4 / 80 | 5,00% | 1,96-12,16% |
| B | 7 / 80 | 8,75% | 4,30-16,98% |
Эти интервалы описывают неопределённость отдельных долей, а не вероятность того, что вариант B лучше. Само перекрытие интервалов также не заменяет проверку различия двух вариантов.
Для сравнения долей нужен отдельно выбранный метод и проверка его предпосылок. NIST различает приближение для больших выборок и точный критерий Фишера для малых независимых выборок. Не применяйте формулу для больших выборок автоматически к нескольким редким событиям.
Планируйте объём по эффекту, а не по красивому числу
Универсальное правило «достаточно ста переходов» не учитывает исходную конверсию и различие, которое вы хотите обнаружить. Небольшой рост редкого события обычно требует больше наблюдений, чем крупное различие частого события при сопоставимых остальных условиях.
До запуска выберите базовую долю, минимальный практически значимый эффект и критерии статистического решения. Если надёжной базы ещё нет, сначала проведите пилот для оценки порядка величин, качества учёта и доступного трафика. Не выдавайте такой пилот за окончательное доказательство выигрыша.
Когда нужен расчёт объёма, передайте аналитику определение участника, главную метрику, ожидаемую долю и реальный способ распределения. Только числа заявок за прошлую неделю для этой задачи недостаточно.
Не завершайте обычный тест при первом удобном результате
Ежедневное наблюдение за показателями полезно для поиска сбоев. Но завершение обычного теста с фиксированным объёмом сразу после появления желаемого результата меняет процедуру принятия решения. Правило окончания нужно определить заранее. Для запланированных последовательных проверок используют специально рассчитанный статистический подход.
Отделяйте статистическую остановку от остановки по качеству. Неверная информация в сообщении, повторное обращение после отказа или техническая ошибка требуют реакции независимо от того, какой вариант набрал больше кликов. В протоколе полезно отдельно назначить ответственного за такие решения.
Не обнуляйте неудачные дни и не удаляйте обращения только потому, что они портят картину. Исключения должны следовать заранее описанному правилу, например подтверждённому техническому дублю, а не желаемому выводу.
Что делать, если данных не хватило
Зафиксируйте результат «недостаточно данных для выбора». Это самостоятельный итог: он не равен доказательству одинаковой эффективности и не означает, что проведённая работа бесполезна.
Возможно, проверка обнаружила более важную проблему: метки теряются, контакты дублируются или менеджер отвечает с разной задержкой. Исправьте измерение и обработку до следующего сравнения. Для этой части пригодятся UTM-разметка Telegram-ссылок и единые критерии подходящей заявки.
В итоговой карточке сохраните обе версии текста, условия распределения, числители и знаменатели, длительность, ограничения и принятое решение. Если временно оставляете более удобный вариант по операционным причинам, укажите именно такую причину. Не превращайте её в статистически доказанную победу.
