Хотите сделать правильный выбор — протестируйте. А лучше сделайте серию тестов для достоверности.
Несколько крупных клиентов CRM-group могут за одну коммуникацию провести тестирование нескольких гипотез. Чтобы быстро вносить нужные изменения, необходим удобный способ работы с результатами тестирования. Совместно с клиентами мы разработали Testers’ Book — место, где можно хранить и анализировать результаты тестов.
Как появился Testers’ Book
Один наш клиент попросил собрать презентацию по всем проведённым за два года тестированиям — для руководства, других подразделений компании и брендов внутри группы.
Мы подготовили презентацию, которая нам так понравилась удобством, полезностью и информативностью, что стали вести её постоянно. Теперь это основной документ по тестированию на проекте.
Что такое Testers’ Book и как его сделать
Testers’ Book — это документ, который хранит информацию о проведённых тестах и результатах. Мы создали его в «Google Презентациях». Каждый слайд — новый тест.
Структура теста
Для быстрого понимания результатов каждого теста мы сделали лаконичную и информативную структуру:
- Заголовок, в котором описываем, что тестировали и какой результат получили.
- Дата тестирования.
- Сегмент тестирования: результаты могут различаться в зависимости от сегмента.
- Доверительная вероятность тестирования.
- Тестируемые варианты.
- Результаты по каждому варианту.
- Вывод.
- Ссылка на письмо (опционально).

В слайд можно добавлять иллюстрации. Например, варианты рекламных тизеров, баннеров или кнопок, которые нужно протестировать.
Читайте также
Как проводить A/B-тесты на сайте и оценивать результаты в Google Analytics
Как пользоваться Testers’ Book
Слайды с результатами серий тестов располагаем в порядке очерёдности тестирования, чтобы была понятна логика и можно было сделать выводы.
Например, мы решили провести тестирование товарных сеток: статичная товарная сетка с бестселлерами против динамической товарной сетки у пользователей 2–4-го уровня программы лояльности:
Бестселлеры победили по кликам, но проиграли по конверсии. Пользователи 2–4-го уровня программы лояльности уже совершали покупки. Возможно, динамическая товарная сетка лучше конвертирует только для пользователей этого сегмента. Данных по ним больше, они более лояльные и вовлечённые — подборка товаров персонализирована качественнее.
Проведём аналогичное тестирование на сегменте пользователей программы лояльности 1-го уровня — без покупок.
Результат подтвердился.
Пока изучаем эти результаты, в голову приходят ещё гипотезы:
- А давайте протестируем на пользователях, которые только что зарегистрировались?
- А что, если поменять подборку статичных товаров? Изменится результат?
- А если отправить по сегменту для реактивации покупателей?
Когда гипотезы закончатся, делаем слайд с выводами по всей серии.
Допустим, мы провели серию тестов и получили следующие выводы:
- Участникам программы лояльности для увеличения конверсии стоит отправлять письма с динамической товарной сеткой.
- Тем, кто не состоит в ПЛ, можно отправлять динамическую сетку или сетку с бестселлерами, так как статистически значимой разницы нет.
- Статичная товарная сетка без бестселлеров работает хуже на всех сегментах, чем сетка с бестселлерами.
Теперь у нас есть понимание, какую сетку в каких случаях стоит использовать. Серия тестов проведена, результаты и выводы по ним записаны.
Результаты гипотез мы проверяем через калькулятор достоверности от Mindbox. Некоторые гипотезы хоть и выигрывали количественно, но не были достоверны.
Читайте также
12 принципов A/B-тестирования
Какие показатели выбираем, чтобы оценить, как работают рассылки
Чаще всего в А/B-тестировании email-рассылок за критерии оценки берём показатель открытия, показатель кликов, отношение кликов к открытиям и процент конверсии.
OR (Open Rate)
Метрика показывает, какой процент доставленных писем был открыт пользователями. Этот показатель используем для тестирования тем, приёмов с темами.
CTR (Click to Rate)
Это процент всех получателей, которые кликнули на какую-либо ссылку в письме.
CTOR (Click to Open Rate)
Отношение кликов к открытиям.
Эти три показателя дают понять, интересен ли контент рассылки получателям. Их берём за критерий оценки, если тестируемая гипотеза находится в контенте письма. Например, расположение кнопки, её цвет, разные товарные сетки и т. д.
Conversion Rate
Показатель конверсии — процент перешедших из рассылки на сайт.
Его используем при проверке привлекательности того или иного оффера для аудитории. Также Conversion Rate нужен для дополнительной оценки выигравшего варианта.
Гипотеза, возникшая в результате анализа тестов: «Да, этот вариант выиграл по OR или CR, но принёс ли он больше целевых действий?»
На практике могут быть кейсы, когда проигравший вариант по кликабельности принёс больше продаж, чем выигравший. В таком случае мы проводим ещё одну серию тестов, увеличиваем сегмент или проверяем на других сегментах. Результаты записываем в Testers’ Book и делаем выводы об использовании тестируемого варианта. Такой пример мы как раз разобрали выше.
Идеи для тестирования Open Rate
У каждой компании будут свои работающие механики увеличения OR. Протестируйте список предложенных нами гипотез для тем.
- Использование глагола в теме или прехедере: «Попробуйте бестселлер» vs «Бестселлер весны».
- Использование эмоджи в теме или прехедере: «❤️ Получи промокод» vs «Получи промокод».
- Обращение по имени: «Николай, ваша скидка» vs «Ваша скидка».
- Добавление слов-триггеров в тему или прехедер, сравнения результатов тестирования между собой: «Ваш подарок в письме» vs «Ваша скидка 25% в письме».
- Вынесение информации об акции в тему или прехедер: «Скидка 10%. Акция „Лето“» vs «Началась акция „Лето“».
- Отправка писем в будние дни в более ранние и в более поздние часы.
- Отправка писем в праздничные дни в более ранние и в более поздние часы.
Вы можете получить неожиданные результаты. Например, узнаете, что эмоджи никак не влияют на открываемость по вашей базе ☹️ или что ваша целевая аудитория лучше реагирует на вечерние письма.
Читайте также
Креатив в темах писем: каким он бывает и как влияет на Open Rate
Идеи для тестирования Click to Rate и Click to Open Rate
Аналогично OR у каждой компании будут свои работающие механики, которые позволят увеличить кликабельность. Протестируйте список предложенных нами гипотез для улучшения кликабельности ваших писем.
Читайте также
Как повысить кликабельность в email-рассылке: 7 способов от агентства Oracle
Гипотезы для увеличения CTR и CTOR:
- добавление кнопки «В каталог» после товарной сетки;
- наличие кнопки CTA на баннере;
- изображение человека или модели на баннере;
- изображение продукта на баннере;
- размещение таймера в письме;
- товарная сетка с бестселлерами в письме;
- динамическая товарная сетка в письме;
- товарная сетка, собранная вручную менеджером компании;
- адаптивное письмо и неадаптивное письмо;
- баннер перед подвалом с разделом акций;
- отображение экономии в рублях в карточке товаров;
- отображение старой и новой цены в карточке товаров;
- отображение бонусного счёта в письме.
Если тестирование покажет, что такой очевидный инструмент, как таймер, уже не работает, не удивляйтесь. Подробнее о такой серии тестов мы рассказали в статье.
На что обратить внимание при работе с Testers’ Book
Не забудьте:
- проверить результаты на достоверность с помощью калькулятора;
- записать всю информацию по гипотезе, даже если она не была достоверной;
- повторить тестирование для недостоверных, увеличив базу получателей или сменив сегмент.
По мере накопления информации вы сможете сделать вывод, что лучше всего работает для вашего бизнеса и вашей базы, и пользоваться этими знаниями для улучшения результатов.
Чем нам помогает Testers’ Book
- Знаем, что работает эффективно в конкретных случаях, и сразу используем в работе. Например, нужно получить максимальный эффект от новой акции. Просматриваем Testers’ Book, находим эффективные методы, которые могут быть применимы в этой активности, и используем. Профит: больше открытий, кликов, продаж.
- Можем спрогнозировать результат и принять решение о целесообразности использования какой-то из механик. Например, узнаём из Testers’ Book клиента, что персональные подборки его товаров приносят больше продаж, но продакшен и настройка промописьма могут обойтись дороже. Делаем прогноз по продажам на основе проведённых тестов. Рассчитываем прогнозируемую прибыль, затраты на внедрение и принимаем решение.
- Можем обосновать своё решение. Например, клиент настаивает на теме с эмоджи, а тестирование показало, что на его проекте эмоджи в теме ухудшают Open Rate. Если у клиента нет коварного умысла навредить своему бизнесу, с помощью результатов в Testers’ Book мы покажем, что его затея неудачная.
Тестирование и анализ результатов помогают не только увеличить текущие показатели, но и лучше понимать покупателя, разработать план эффективных коммуникаций и новые продукты.
Удобный инструмент хранения и использования полученных в результате тестирования показателей даст возможность быстро найти и внедрить успешные кейсы в работу.
Таким инструментом и стал для нас Testers’ Book.
У нас есть телеграм-канал, в котором мы пересказываем самые интересные материалы про онлайн-маркетинг в формате постов-трёхминуток — подписывайтесь на «Маркетинг за три минуты». А если вы хотите поболтать и поделиться своими мыслями, приходите к нам в CRM-Chat.