На базе в 200–500 номеров классическое A/B-тестирование почти не работает: разница в ответах будет в пределах случайности. Зато можно сравнивать два варианта последовательно, а не одновременно, и смотреть на абсолютные числа ответов и заказов. Ниже — как малому бизнесу тестировать SMS без аналитика и платных инструментов, что проверять в первую очередь и на какие выводы реально опираться.
Почему одновременный A/B на малых базах вводит в заблуждение
Когда вы делите 300 номеров на две группы по 150, разница в 3–4 ответа между вариантами — это шум. Один клиент уехал в отпуск, второй поменял номер, третий просто не открыл сообщение. И вот уже «вариант Б победил», хотя по факту ничего не изменилось.
В микробизнесе логичнее работают два других подхода: сравнивать длинные периоды (например, две недели с одним текстом, потом две недели с другим) или тестировать варианты по очереди на всей базе. Так вы получаете полную выборку на каждый вариант, а не половину.
Что стоит тестировать в первую очередь
При ограниченном бюджете начинайте с параметров, которые сильнее всего влияют на отклик. В SMS это не дизайн и не картинки, а текст, время и адресность.
| Что тестируем | Пример гипотезы | Как понять результат |
|---|---|---|
| Призыв к действию | «Запишитесь» против «Свободно в 14:00» | Считаем ответные SMS и заказы за 24 часа |
| Время отправки | Утро против вечера | Смотрим открытия ссылки по часам |
| Длина сообщения | Короткое (до 70 знаков) против длинного | Сравниваем переходы и ответы |
| Обращение | «Здравствуйте» против «Имя, напоминаем» | Сравниваем долю ответивших |
Каждый раз берите только один параметр. Если меняете сразу текст и время, потом не поймёте, что именно сработало.
Как организовать тест на 100–500 номерах
Схема простая. Выберите один параметр. Разделите базу случайно — не по алфавиту и не по дате последней покупки, а через генератор случайных чисел или порядковый номер в таблице. Отправьте вариант А, подождите сутки, зафиксируйте результат. Через неделю отправьте вариант Б тем же людям, кроме тех, кто отписался или уже сделал заказ.
Так вы получите две выборки на одном и том же сегменте. Погрешность будет меньше, чем при делении базы пополам в один день.
Чтобы считать переходы по ссылке, используйте короткие адреса. На них удобно смотреть, сколько человек реально кликнули, а не просто получили SMS. Заодно короткий URL экономит знаки в сообщении. 8s.by даёт такую статистику по каждой рассылке — видно, какой вариант текста приводит больше переходов, а какой просто «прочитали и забыли».
На что смотреть в результатах, когда чисел мало
Проценты на выборке в 200 человек обманывают: 2% и 4% — это разница в четыре ответа. Считайте абсолютные числа. Скажите себе: «На 150 отправок получил 8 ответов против 3». Такая формулировка ближе к реальности и не создаёт ложной уверенности.
Ориентир для решения: если один вариант стабильно даёт в 1,5–2 раза больше ответов или заказов на протяжении двух-трёх недель, его можно внедрять. Если разница меньше, скорее всего, вы видите случайность. Точных порогов нет — всё зависит от сферы, среднего чека и того, насколько клиенты вообще привыкли отвечать на SMS.
Перед тем как менять основную рассылку, посмотрите на время отправки SMS в Беларуси: иногда половина эффекта приходит именно от правильно выбранного часа, а не от текста. И если у вас двуязычная аудитория, проверьте, какой язык даёт больше отклика — об этом отдельно написано про двуязычные SMS-рассылки.
Типичные ошибки в тестах на малой базе
- Менять сразу текст, призыв и время отправки — потом не разобраться, что сработало.
- Делать выводы по 20–30 сообщениям.
- Оценивать результат по принципу «мне этот текст нравится больше» вместо ответов и заказов.
- Забыть про тех, кто отписался: они не должны попадать во вторую волну.
- Считать только клики по ссылке и не смотреть, дошло ли до оплаты.
- Останавливать тест на третий день, не дождавшись всех ответов.
Что даёт последовательное тестирование на длинной дистанции
Если проверять по два варианта в месяц, за полгода вы соберёте 8–10 рабочих формулировок для разных поводов: напоминание о визите, реактивация клиента, отмена записи, сезонное предложение. Это уже готовые шаблоны для автоматических рассылок. Дальше не нужно каждый раз придумывать текст с нуля — просто подставляете тот, который на вашей аудитории давал лучший отклик.
Такой подход хорошо ложится на сезонные колебания: летом формулировки срабатывают хуже, зимой — лучше, и это нормально. Сравнивать А и Б в разных сезонах некорректно, поэтому тесты ставьте подряд, в пределах одного-двух месяцев. О сезонных особенностях напоминаний мы писали в материале про SMS-рассылки в летние отпуска.
3 шага, с которых можно начать на этой неделе:
- Выберите один параметр для теста — обычно это призыв к действию.
- Отправьте два варианта одной и той же базе с интервалом в неделю и зафиксируйте ответы в таблице.
- Через месяц пересмотрите результаты: то, что стабильно давало больше отклика, ставьте в основную рассылку.
