Тестирование емейл-рассылок — это, пожалуй, самый важный пункт на пути к достижению отличного результата.
С ростом объемов отправки писем и увеличения количества различных автоматических цепочек возникает потребность, да и желание, оптимизировать, улучшить, проверить гипотезу.
Именно для этого почти во всех сервисах email-рассылок и существует такой инструмент, как сплит-тестирование.
Если вы не хотите сходу изменять концепцию или логику отправки писем, менять дизайн или переверстывать письмо — сделайте сплит-тест.
Тестирование — наше все!
В данной статье постараемся рассказать:
- Как проводить сплит-тестирование?
- Что и зачем тестировать?
- Как быть после проведения эксперимента?
О выборках и достоверности теста
Для достоверности теста выбирайте однородные по составу тестируемые группы. Они должны относиться к одному сегменту.
![Выборки для сплит-теста](https://emailsoldiers.ru/files/wp-content/uploads/2015/11/split-testing-group.png)
Определитесь, что вы хотите протестировать. Это может быть:
- Тема письма;
- Контент письма;
- Время отправки.
Перед тестированием сформулируйте гипотезу, которую вы собираетесь подтвердить или опровергнуть. Тестирование ради тестирования не даёт большого эффекта!
Не забудьте выбрать цель, по которой будет определяться победитель тестирования.
![критерии-сплит-теста](https://emailsoldiers.ru/files/wp-content/uploads/2015/11/критерии-сплит-теста.png)
Еще несколько обязательных условий!
НЕ тестируйте одновременно контент письма и время отправки.
НЕ тестируйте одновременно день недели и время отправки сообщений.
НЕ делайте более одного изменения в письме, достоверность такого теста снижается.
ОБЯЗАТЕЛЬНО дождитесь окончания тестирования, даже если один вариант значительно опережает другой. Только после завершения теста смотрите на результат!
НЕ тестируйте сразу много вариантов писем, начните с A/B тестирования!
А теперь тестируем
Тестируйте тему сообщений для увеличения показателя открытий писем. Но не забывайте — тема должна быть релевантной.
![тестирование-темы-письма](https://emailsoldiers.ru/files/wp-content/uploads/2015/11/тестирование-темы-письма.png)
Как вы видите, в проведенном тесте явного фаворита выявить не удалось. И даже первый вариант темы не выглядел провокационным. Такое тоже бывает.
Проверяйте, какое содержание писем нравится вашим подписчикам больше. Изменяйте объем текста в письме, количество и содержание СТА (призыва к действию), наличие графических элементов, верстку письма — абсолютно любые элементы контента.
Чаще всего тестируют несколько вариантов писем: длинная портянка с большим количеством текста против одного лаконичного баннера с тем же предложением или просто 2 разных варианта исполнения дизайна/верстки.
![рассылка Royal Forest. A/B тест. 1 вариант](https://emailsoldiers.ru/files/wp-content/uploads/2015/11/royal-1var-287x1024.png)
![Рассылка Royal Forest. A/B тест. 2 вариант](https://emailsoldiers.ru/files/wp-content/uploads/2015/11/royal-2var-250x1024.png)
![RoyalForest - результаты сплит-тестирования верстки](https://emailsoldiers.ru/files/wp-content/uploads/2015/11/RoyalForest-результаты-сплит-тестирования-верстки.png)
Если речь заходит о сравнении различных комбинаций элементов, мы предлагаем действовать итерационно и тестировать все элементы по шагам.
Итерации тестирования
1. Определите элементы, которые хотите протестировать и количество вариантов.
2. Настройте нужное кол-во писем.
3. Тестируйте в правильной последовательности.
4. В первую очередь проведите сплит-тесты с темами писем, затем с содержанием письма.
5. Далее определите лучшую комбинацию тема+содержание.
6. После этого приступайте к тестированию времени отправки сообщения.
Учитывайте, что время отправки в данном случае — это время доставки сообщения до получателя и никак иначе.
При всем тестировании емейл-сообщений не забывайте о цепочке коммуникации: рассылка-лендинг.
В результате теста вы можете добиться отличных показателей OR и CTR, но конверсия при этом будет равна 0.
Пошаговый пример тестирования
Сплит-тестирование как способ определения ценностного предложения
Пример тестирования был приведен в статье об отстройке от конкурентов
Используем сплит-тест для определения наиболее крутого ценностного предложения на примере банковского продукта.
1. Определяем, какие стороны продукта и предложения наиболее ценны для подписчика:
- Бренд банка;
- Процесс оформления;
- Кредитная ставка;
- Первоначальный взнос;
- Процесс оформления.
2. Для каждой ценности тестируем по 2 темы.
![пример-сплит-тестирования1](https://emailsoldiers.ru/files/wp-content/uploads/2015/11/пример-сплит-тестирования1.png)
3. Для каждой из выигрышных тем тестируем релевантное содержание письма.
![пример-сплит-тестирования2](https://emailsoldiers.ru/files/wp-content/uploads/2015/11/пример-сплит-тестирования2.png)
4. После определения темы и нужного содержания приступаем к тестированию времени отправки сообщений.
Многие емейл-платформы позволяют оптимизировать время отправки по часовым поясам, но вам стоит задуматься: “А работает ли в это время ваш офис или колл-центр?”.
![оптимизация-времени-по-часовым-поясам](https://emailsoldiers.ru/files/wp-content/uploads/2015/11/оптимизация-времени-по-часовым-поясам.png)
Также вы можете положиться на те данные, которые есть в статистике. Они подскажут, в какое время ваши подписчики наиболее активно открывают письма.
Если таковых данных нет — тестируйте. Нет лучшего дня или времени для отправки писем. Это вы поймете, проведя несколько экспериментов и проанализировав результаты.
Оценка результатов тестирования
После проведения тестов неплохо бы и определить, какой вариант письма оказался наиболее успешным.
![A-B comparison. Split testing. Concept vector illustration](https://emailsoldiers.ru/files/wp-content/uploads/2015/11/Depositphotos_74444513_s-2015.jpg)
Для выявления лучшей темы обычно выбирается показатель открытий, для лучшего контента — кликов. Но и здесь вы можете проявить креативность мышления, выбрав победителя самостоятельно. Все зависит от того, на что именно был нацелен ваш тест.