Как мы храним и анализируем результаты тестирования в Testers’ Book

Хотите сделать правильный выбор — протестируйте. А лучше сделайте серию тестов для достоверности.

Несколько крупных клиентов CRM-group могут за одну коммуникацию провести тестирование нескольких гипотез. Чтобы быстро вносить нужные изменения, необходим удобный способ работы с результатами тестирования. Совместно с клиентами мы разработали Testers’ Book — место, где можно хранить и анализировать результаты тестов.

Как появился Testers’ Book

Один наш клиент попросил собрать презентацию по всем проведённым за два года тестированиям — для руководства, других подразделений компании и брендов внутри группы.

Мы подготовили презентацию, которая нам так понравилась удобством, полезностью и информативностью, что стали вести её постоянно. Теперь это основной документ по тестированию на проекте.

Что такое Testers’ Book и как его сделать

Testers’ Book — это документ, который хранит информацию о проведённых тестах и результатах. Мы создали его в «Google Презентациях». Каждый слайд — новый тест.

Структура теста

Для быстрого понимания результатов каждого теста мы сделали лаконичную и информативную структуру:

  1. Заголовок, в котором описываем, что тестировали и какой результат получили.
  2. Дата тестирования.
  3. Сегмент тестирования: результаты могут различаться в зависимости от сегмента.
  4. Доверительная вероятность тестирования.
  5. Тестируемые варианты.
  6. Результаты по каждому варианту.
  7. Вывод.
  8. Ссылка на письмо (опционально).
анализ результатов тестирования в Testers’ Book
Пример слайда из презентации Testers’ Book

В слайд можно добавлять иллюстрации. Например, варианты рекламных тизеров, баннеров или кнопок, которые нужно протестировать.

Читайте также

Как проводить A/B-тесты на сайте и оценивать результаты в Google Analytics

Как пользоваться Testers’ Book

Слайды с результатами серий тестов располагаем в порядке очерёдности тестирования, чтобы была понятна логика и можно было сделать выводы.

Например, мы решили провести тестирование товарных сеток: статичная товарная сетка с бестселлерами против динамической товарной сетки у пользователей 2–4-го уровня программы лояльности:

анализ результатов тестирования статичной товарной сетки

Бестселлеры победили по кликам, но проиграли по конверсии. Пользователи 2–4-го уровня программы лояльности уже совершали покупки. Возможно, динамическая товарная сетка лучше конвертирует только для пользователей этого сегмента. Данных по ним больше, они более лояльные и вовлечённые — подборка товаров персонализирована качественнее.

Проведём аналогичное тестирование на сегменте пользователей программы лояльности 1-го уровня — без покупок.

динамическая товарная сетка

Результат подтвердился.

Пока изучаем эти результаты, в голову приходят ещё гипотезы:

  1. А давайте протестируем на пользователях, которые только что зарегистрировались?
  2. А что, если поменять подборку статичных товаров? Изменится результат?
  3. А если отправить по сегменту для реактивации покупателей?

Когда гипотезы закончатся, делаем слайд с выводами по всей серии.

Допустим, мы провели серию тестов и получили следующие выводы:

  1. Участникам программы лояльности для увеличения конверсии стоит отправлять письма с динамической товарной сеткой.
  2. Тем, кто не состоит в ПЛ, можно отправлять динамическую сетку или сетку с бестселлерами, так как статистически значимой разницы нет.
  3. Статичная товарная сетка без бестселлеров работает хуже на всех сегментах, чем сетка с бестселлерами.

Теперь у нас есть понимание, какую сетку в каких случаях стоит использовать. Серия тестов проведена, результаты и выводы по ним записаны.

Результаты гипотез мы проверяем через калькулятор достоверности от Mindbox. Некоторые гипотезы хоть и выигрывали количественно, но не были достоверны.

Читайте также

12 принципов A/B-тестирования

Какие показатели выбираем, чтобы оценить, как работают рассылки

Чаще всего в А/B-тестировании email-рассылок за критерии оценки берём показатель открытия, показатель кликов, отношение кликов к открытиям и процент конверсии.

OR (Open Rate)

Метрика показывает, какой процент доставленных писем был открыт пользователями. Этот показатель используем для тестирования тем, приёмов с темами.

CTR (Click to Rate)

Это процент всех получателей, которые кликнули на какую-либо ссылку в письме.

CTOR (Click to Open Rate)

Отношение кликов к открытиям.

Эти три показателя дают понять, интересен ли контент рассылки получателям. Их берём за критерий оценки, если тестируемая гипотеза находится в контенте письма. Например, расположение кнопки, её цвет, разные товарные сетки и т. д.

Conversion Rate

Показатель конверсии — процент перешедших из рассылки на сайт.

Его используем при проверке привлекательности того или иного оффера для аудитории. Также Conversion Rate нужен для дополнительной оценки выигравшего варианта.

Гипотеза, возникшая в результате анализа тестов: «Да, этот вариант выиграл по OR или CR, но принёс ли он больше целевых действий?»

На практике могут быть кейсы, когда проигравший вариант по кликабельности принёс больше продаж, чем выигравший. В таком случае мы проводим ещё одну серию тестов, увеличиваем сегмент или проверяем на других сегментах. Результаты записываем в Testers’ Book и делаем выводы об использовании тестируемого варианта. Такой пример мы как раз разобрали выше.

Идеи для тестирования Open Rate

У каждой компании будут свои работающие механики увеличения OR. Протестируйте список предложенных нами гипотез для тем.

  1. Использование глагола в теме или прехедере: «Попробуйте бестселлер» vs «Бестселлер весны».
  2. Использование эмоджи в теме или прехедере: «❤️ Получи промокод» vs «Получи промокод».
  3. Обращение по имени: «Николай, ваша скидка» vs «Ваша скидка».
  4. Добавление слов-триггеров в тему или прехедер, сравнения результатов тестирования между собой: «Ваш подарок в письме» vs «Ваша скидка 25% в письме».
  5. Вынесение информации об акции в тему или прехедер: «Скидка 10%. Акция „Лето“» vs «Началась акция „Лето“».
  6. Отправка писем в будние дни в более ранние и в более поздние часы.
  7. Отправка писем в праздничные дни в более ранние и в более поздние часы.

Вы можете получить неожиданные результаты. Например, узнаете, что эмоджи никак не влияют на открываемость по вашей базе ☹️ или что ваша целевая аудитория лучше реагирует на вечерние письма.

Читайте также

Креатив в темах писем: каким он бывает и как влияет на Open Rate

Идеи для тестирования Click to Rate и Click to Open Rate

Аналогично OR у каждой компании будут свои работающие механики, которые позволят увеличить кликабельность. Протестируйте список предложенных нами гипотез для улучшения кликабельности ваших писем.

Гипотезы для увеличения CTR и CTOR:

  • добавление кнопки «В каталог» после товарной сетки;
  • наличие кнопки CTA на баннере;
  • изображение человека или модели на баннере;
  • изображение продукта на баннере;
  • размещение таймера в письме;
  • товарная сетка с бестселлерами в письме;
  • динамическая товарная сетка в письме;
  • товарная сетка, собранная вручную менеджером компании;
  • адаптивное письмо и неадаптивное письмо;
  • баннер перед подвалом с разделом акций;
  • отображение экономии в рублях в карточке товаров;
  • отображение старой и новой цены в карточке товаров;
  • отображение бонусного счёта в письме.

Если тестирование покажет, что такой очевидный инструмент, как таймер, уже не работает, не удивляйтесь. Подробнее о такой серии тестов мы рассказали в статье.

На что обратить внимание при работе с Testers’ Book

Не забудьте:

  • проверить результаты на достоверность с помощью калькулятора;
  • записать всю информацию по гипотезе, даже если она не была достоверной;
  • повторить тестирование для недостоверных, увеличив базу получателей или сменив сегмент.

По мере накопления информации вы сможете сделать вывод, что лучше всего работает для вашего бизнеса и вашей базы, и пользоваться этими знаниями для улучшения результатов.

Проанализируем данные, найдем пути развития бизнеса

Бизнес-аналитика: полный цикл

Чем нам помогает Testers’ Book

  1. Знаем, что работает эффективно в конкретных случаях, и сразу используем в работе. Например, нужно получить максимальный эффект от новой акции. Просматриваем Testers’ Book, находим эффективные методы, которые могут быть применимы в этой активности, и используем. Профит: больше открытий, кликов, продаж.
  2. Можем спрогнозировать результат и принять решение о целесообразности использования какой-то из механик. Например, узнаём из Testers’ Book клиента, что персональные подборки его товаров приносят больше продаж, но продакшен и настройка промописьма могут обойтись дороже. Делаем прогноз по продажам на основе проведённых тестов. Рассчитываем прогнозируемую прибыль, затраты на внедрение и принимаем решение.
  3. Можем обосновать своё решение. Например, клиент настаивает на теме с эмоджи, а тестирование показало, что на его проекте эмоджи в теме ухудшают Open Rate. Если у клиента нет коварного умысла навредить своему бизнесу, с помощью результатов в Testers’ Book мы покажем, что его затея неудачная.

Тестирование и анализ результатов помогают не только увеличить текущие показатели, но и лучше понимать покупателя, разработать план эффективных коммуникаций и новые продукты.

Удобный инструмент хранения и использования полученных в результате тестирования показателей даст возможность быстро найти и внедрить успешные кейсы в работу.

Таким инструментом и стал для нас Testers’ Book.


У нас есть телеграм-канал, в котором мы пересказываем самые интересные материалы про онлайн-маркетинг в формате постов-трёхминуток — подписывайтесь на «Маркетинг за три минуты». А если вы хотите поболтать и поделиться своими мыслями, приходите к нам в CRM-Chat.

Узнавайте об обновлениях блога Email Soldiers первым

Спасибо!

Осталось подтвердить подписку — кликнуть по кнопке в письме, которое мы вам отправили.

Похожие статьи

seo-продвижение
Десять SEO-факторов, которые влияют на продвижение сайта

Американский SEO-консультант Адам Кларк собрал факторы для успешного SEO-продвижения, а команда CRM-group дополнила примерами из своей практики.

интервью для статьи баннер
Как брать интервью для статьи: наш опыт работы с зарубежными экспертами

Для проекта «Тренды маркетинга-2022» решили собрать мнения зарубежных экспертов. Как я готовился к интервью, почему это оказалось сложнее, чем я думал. Какие выводы сделал.

продвижение на маркетплейсе обложка
8 практических советов продавцам, как продвигать товары на маркетплейсе в 2022 году

Редактор агентства по продвижению сайтов Kokoc.com рассказывает, как продавцам продвигаться на маркетплейсах и что особенного в этом продвижении в 2022 году.