Почтовый голубь

Как проводить сплит-тестирование в емейл-рассылках


Тестирование емейл-рассылок — это, пожалуй, самый важный пункт на пути к достижению отличного результата.

С ростом объемов отправки писем и увеличения количества различных автоматических цепочек возникает потребность, да и желание, оптимизировать, улучшить, проверить гипотезу.

Именно для этого и существует такой инструмент, как сплит-тестирование.

Если вы не хотите сходу изменять концепцию или логику отправки писем, менять дизайн или переверстывать письмо — сделайте сплит-тест.

Тестирование — наше все!

В данной статье постараемся рассказать:

  • Как проводить сплит-тестирование?
  • Что и зачем тестировать?
  • Как быть после проведения эксперимента?

О выборках и достоверности теста

Для достоверности теста выбирайте однородные по составу тестируемые группы. Они должны относиться к одному сегменту.

Выборки для сплит-теста

Определитесь, что вы хотите протестировать. Это может быть:

  • Тема письма;
  • Контент письма;
  • Время отправки.

Перед тестированием сформулируйте гипотезу, которую вы собираетесь подтвердить или опровергнуть. Тестирование ради тестирования не даёт большого эффекта!

Не забудьте выбрать цель, по которой будет определяться победитель тестирования.

критерии-сплит-теста

Еще несколько обязательных условий!

НЕ тестируйте одновременно контент письма и время отправки.

НЕ тестируйте одновременно день недели и время отправки сообщений.

НЕ делайте более одного изменения в письме, достоверность такого теста снижается.

ОБЯЗАТЕЛЬНО дождитесь окончания тестирования, даже если один вариант значительно опережает другой. Только после завершения теста смотрите на результат!

НЕ тестируйте сразу много вариантов писем, начните с A/B тестирования!

А теперь тестируем

Тестируйте тему сообщений для увеличения показателя открытий писем. Но не забывайте — тема должна быть релевантной.

тестирование-темы-письма

Как вы видите, в проведенном тесте явного фаворита выявить не удалось. И даже первый вариант темы не выглядел провокационным. Такое тоже бывает.

Проверяйте, какое содержание писем нравится вашим подписчикам больше. Изменяйте объем текста в письме, количество и содержание СТА (призыва к действию), наличие графических элементов, верстку письма — абсолютно любые элементы контента.

Чаще всего тестируют несколько вариантов писем: длинная портянка с большим количеством текста против одного лаконичного баннера с тем же предложением или просто 2 разных варианта исполнения дизайна/верстки.

рассылка Royal Forest. A/B тест. 1 вариант
Рассылка Royal Forest. A/B тест. 1 вариант
Рассылка Royal Forest. A/B тест. 2 вариант
Рассылка Royal Forest. A/B тест. 2 вариант
RoyalForest - результаты сплит-тестирования верстки

Если речь заходит о сравнении различных комбинаций элементов, мы предлагаем действовать итерационно и тестировать все элементы по шагам.

Итерации тестирования

1. Определите элементы, которые хотите протестировать и количество вариантов.
2. Настройте нужное кол-во писем.
3. Тестируйте в правильной последовательности.
4. В первую очередь проведите сплит-тесты с темами писем, затем с содержанием письма.
5. Далее определите лучшую комбинацию тема+содержание.
6. После этого приступайте к тестированию времени отправки сообщения.

Учитывайте, что время отправки в данном случае — это время доставки сообщения до получателя и никак иначе.

При всем тестировании емейл-сообщений не забывайте о цепочке коммуникации: рассылка-лендинг.
В результате теста вы можете добиться отличных показателей OR и CTR, но конверсия при этом будет равна 0.

Пошаговый пример тестирования

Сплит-тестирование как способ определения ценностного предложения

Пример тестирования был приведен в статье об отстройке от конкурентов

Используем сплит-тест для определения наиболее крутого ценностного предложения на примере банковского продукта.

1. Определяем, какие стороны продукта и предложения наиболее ценны для подписчика:

  • Бренд банка;
  • Процесс оформления;
  • Кредитная ставка;
  • Первоначальный взнос;
  • Процесс оформления.

2. Для каждой ценности тестируем по 2 темы.

пример-сплит-тестирования1

3. Для каждой из выигрышных тем тестируем релевантное содержание письма.

пример-сплит-тестирования2

4. После определения темы и нужного содержания приступаем к тестированию времени отправки сообщений.

Многие емейл-платформы позволяют оптимизировать время отправки по часовым поясам, но вам стоит задуматься: “А работает ли в это время ваш офис или колл-центр?”.

оптимизация-времени-по-часовым-поясам

Также вы можете положиться на те данные, которые есть в статистике. Они подскажут, в какое время ваши подписчики наиболее активно открывают письма.
Если таковых данных нет — тестируйте. Нет лучшего дня или времени для отправки писем. Это вы поймете, проведя несколько экспериментов и проанализировав результаты.

Оценка результатов тестирования

После проведения тестов неплохо бы и определить, какой вариант письма оказался наиболее успешным.

A-B comparison. Split testing. Concept vector illustration

Для выявления лучшей темы обычно выбирается показатель открытий, для лучшего контента — кликов. Но и здесь вы можете проявить креативность мышления, выбрав победителя самостоятельно. Все зависит от того, на что именно был нацелен ваш тест.

Гипотеза №2: рассылка по часовым поясам улучшает показатели. Не подтверждена.

На цифрах показываем, почему рассылка с учётом часовых поясов — совсем необязательно хорошее решение.

Что и как тестировать в письмах

Описываем подход к тестированию, в котором результаты будут ценными не только для конкретной рассылки, но и для маркетинга в целом.