Как мы храним и анализируем результаты тестирования в Testers’ Book

Хотите сделать правильный выбор — протестируйте. А лучше сделайте серию тестов для достоверности.

Несколько крупных клиентов CRM-group могут за одну коммуникацию провести тестирование нескольких гипотез. Чтобы быстро вносить нужные изменения, необходим удобный способ работы с результатами тестирования. Совместно с клиентами мы разработали Testers’ Book — место, где можно хранить и анализировать результаты тестов.

Как появился Testers’ Book

Один наш клиент попросил собрать презентацию по всем проведённым за два года тестированиям — для руководства, других подразделений компании и брендов внутри группы.

Мы подготовили презентацию, которая нам так понравилась удобством, полезностью и информативностью, что стали вести её постоянно. Теперь это основной документ по тестированию на проекте.

Что такое Testers’ Book и как его сделать

Testers’ Book — это документ, который хранит информацию о проведённых тестах и результатах. Мы создали его в «Google Презентациях». Каждый слайд — новый тест.

Структура теста

Для быстрого понимания результатов каждого теста мы сделали лаконичную и информативную структуру:

1. Заголовок, в котором описываем, что тестировали и какой результат получили.
2. Дата тестирования.
3. Сегмент тестирования: результаты могут различаться в зависимости от сегмента.
4. Доверительная вероятность тестирования.
5. Тестируемые варианты.
6. Результаты по каждому варианту.
7. Вывод.
8. Ссылка на письмо (опционально).

В слайд можно добавлять иллюстрации. Например, варианты рекламных тизеров, баннеров или кнопок, которые нужно протестировать.

Читайте также

Как проводить A/B-тесты на сайте и оценивать результаты в Google Analytics

Как пользоваться Testers’ Book

Слайды с результатами серий тестов располагаем в порядке очерёдности тестирования, чтобы была понятна логика и можно было сделать выводы.

Например, мы решили провести тестирование товарных сеток: статичная товарная сетка с бестселлерами против динамической товарной сетки у пользователей 2–4-го уровня программы лояльности:

Бестселлеры победили по кликам, но проиграли по конверсии. Пользователи 2–4-го уровня программы лояльности уже совершали покупки. Возможно, динамическая товарная сетка лучше конвертирует только для пользователей этого сегмента. Данных по ним больше, они более лояльные и вовлечённые — подборка товаров персонализирована качественнее.

Проведём аналогичное тестирование на сегменте пользователей программы лояльности 1-го уровня — без покупок.

Результат подтвердился.

Пока изучаем эти результаты, в голову приходят ещё гипотезы:

1. А давайте протестируем на пользователях, которые только что зарегистрировались?
2. А что, если поменять подборку статичных товаров? Изменится результат?
3. А если отправить по сегменту для реактивации покупателей?

Когда гипотезы закончатся, делаем слайд с выводами по всей серии.

Допустим, мы провели серию тестов и получили следующие выводы:

1. Участникам программы лояльности для увеличения конверсии стоит отправлять письма с динамической товарной сеткой.
2. Тем, кто не состоит в ПЛ, можно отправлять динамическую сетку или сетку с бестселлерами, так как статистически значимой разницы нет.
3. Статичная товарная сетка без бестселлеров работает хуже на всех сегментах, чем сетка с бестселлерами.

Теперь у нас есть понимание, какую сетку в каких случаях стоит использовать. Серия тестов проведена, результаты и выводы по ним записаны.

Результаты гипотез мы проверяем через калькулятор достоверности от Mindbox. Некоторые гипотезы хоть и выигрывали количественно, но не были достоверны.

Читайте также

12 принципов A/B-тестирования

Какие показатели выбираем, чтобы оценить, как работают рассылки

Чаще всего в А/B-тестировании email-рассылок за критерии оценки берём показатель открытия, показатель кликов, отношение кликов к открытиям и процент конверсии.

OR (Open Rate)

Метрика показывает, какой процент доставленных писем был открыт пользователями. Этот показатель используем для тестирования тем, приёмов с темами.

CTR (Click to Rate)

Это процент всех получателей, которые кликнули на какую-либо ссылку в письме.

CTOR (Click to Open Rate)

Отношение кликов к открытиям.

Эти три показателя дают понять, интересен ли контент рассылки получателям. Их берём за критерий оценки, если тестируемая гипотеза находится в контенте письма. Например, расположение кнопки, её цвет, разные товарные сетки и т. д.

Conversion Rate

Показатель конверсии — процент перешедших из рассылки на сайт.

Его используем при проверке привлекательности того или иного оффера для аудитории. Также Conversion Rate нужен для дополнительной оценки выигравшего варианта.

Гипотеза, возникшая в результате анализа тестов: «Да, этот вариант выиграл по OR или CR, но принёс ли он больше целевых действий?»

На практике могут быть кейсы, когда проигравший вариант по кликабельности принёс больше продаж, чем выигравший. В таком случае мы проводим ещё одну серию тестов, увеличиваем сегмент или проверяем на других сегментах. Результаты записываем в Testers’ Book и делаем выводы об использовании тестируемого варианта. Такой пример мы как раз разобрали выше.

Идеи для тестирования Open Rate

У каждой компании будут свои работающие механики увеличения OR. Протестируйте список предложенных нами гипотез для тем.

1. Использование глагола в теме или прехедере: «Попробуйте бестселлер» vs «Бестселлер весны».
2. Использование эмоджи в теме или прехедере: «❤️ Получи промокод» vs «Получи промокод».
3. Обращение по имени: «Николай, ваша скидка» vs «Ваша скидка».
4. Добавление слов-триггеров в тему или прехедер, сравнения результатов тестирования между собой: «Ваш подарок в письме» vs «Ваша скидка 25% в письме».
5. Вынесение информации об акции в тему или прехедер: «Скидка 10%. Акция „Лето“» vs «Началась акция „Лето“».
6. Отправка писем в будние дни в более ранние и в более поздние часы.
7. Отправка писем в праздничные дни в более ранние и в более поздние часы.

Вы можете получить неожиданные результаты. Например, узнаете, что эмоджи никак не влияют на открываемость по вашей базе ☹️ или что ваша целевая аудитория лучше реагирует на вечерние письма.

Читайте также

Креатив в темах писем: каким он бывает и как влияет на Open Rate

Идеи для тестирования Click to Rate и Click to Open Rate

Аналогично OR у каждой компании будут свои работающие механики, которые позволят увеличить кликабельность. Протестируйте список предложенных нами гипотез для улучшения кликабельности ваших писем.

Читайте также

Как повысить кликабельность в email-рассылке: 7 способов от агентства Oracle

Гипотезы для увеличения CTR и CTOR:

• добавление кнопки «В каталог» после товарной сетки;
• наличие кнопки CTA на баннере;
• изображение человека или модели на баннере;
• изображение продукта на баннере;
• размещение таймера в письме;
• товарная сетка с бестселлерами в письме;
• динамическая товарная сетка в письме;
• товарная сетка, собранная вручную менеджером компании;
• адаптивное письмо и неадаптивное письмо;
• баннер перед подвалом с разделом акций;
• отображение экономии в рублях в карточке товаров;
• отображение старой и новой цены в карточке товаров;
• отображение бонусного счёта в письме.

Если тестирование покажет, что такой очевидный инструмент, как таймер, уже не работает, не удивляйтесь. Подробнее о такой серии тестов мы рассказали в статье.

На что обратить внимание при работе с Testers’ Book

Не забудьте:

• проверить результаты на достоверность с помощью калькулятора;
• записать всю информацию по гипотезе, даже если она не была достоверной;
• повторить тестирование для недостоверных, увеличив базу получателей или сменив сегмент.

По мере накопления информации вы сможете сделать вывод, что лучше всего работает для вашего бизнеса и вашей базы, и пользоваться этими знаниями для улучшения результатов.

Чем нам помогает Testers’ Book

1. Знаем, что работает эффективно в конкретных случаях, и сразу используем в работе. Например, нужно получить максимальный эффект от новой акции. Просматриваем Testers’ Book, находим эффективные методы, которые могут быть применимы в этой активности, и используем. Профит: больше открытий, кликов, продаж.
2. Можем спрогнозировать результат и принять решение о целесообразности использования какой-то из механик. Например, узнаём из Testers’ Book клиента, что персональные подборки его товаров приносят больше продаж, но продакшен и настройка промописьма могут обойтись дороже. Делаем прогноз по продажам на основе проведённых тестов. Рассчитываем прогнозируемую прибыль, затраты на внедрение и принимаем решение.
3. Можем обосновать своё решение. Например, клиент настаивает на теме с эмоджи, а тестирование показало, что на его проекте эмоджи в теме ухудшают Open Rate. Если у клиента нет коварного умысла навредить своему бизнесу, с помощью результатов в Testers’ Book мы покажем, что его затея неудачная.

Тестирование и анализ результатов помогают не только увеличить текущие показатели, но и лучше понимать покупателя, разработать план эффективных коммуникаций и новые продукты.

Удобный инструмент хранения и использования полученных в результате тестирования показателей даст возможность быстро найти и внедрить успешные кейсы в работу.

Таким инструментом и стал для нас Testers’ Book.

---

У нас есть телеграм-канал, в котором мы пересказываем самые интересные материалы про онлайн-маркетинг в формате постов-трёхминуток — подписывайтесь на «Маркетинг за три минуты». А если вы хотите поболтать и поделиться своими мыслями, приходите к нам в CRM-Chat.