Мультивариантное тестирование (MVT) проверяет результативность сразу нескольких компонентов.
Рекламная кампания не приносит ожидаемого результата. Как определить, в чём причина неудачи: в лендинге, рассылке или пользователи не замечают кнопку CTA? Гадания ничем хорошим не закончатся. Самое безобидное — рекламный бюджет не окупится, а кто-то из отдела маркетинга получит выговор. Однако ошибки, которые не удалось обнаружить, повторятся и в следующих рекламных кампаниях, что может привести к более серьёзным последствиям: вы раз за разом будете сливать рекламный бюджет в никуда.
По статистике 88% потребителей не возвращаются на сайт компании после неудачного опыта. Только из-за плохого UX-дизайна мировое бизнес-сообщество теряет 1 420 300 млн долларов. Как тогда понять, что именно следует изменить в рекламной кампании, чтобы она не провалилась? Самое простое — провести тестирование.
Меня зовут Полина, и я копирайтер в Altcraft. В этой статье я расскажу о мультивариантном тестировании и о том, как его запустить и в каких ситуациях использовать.
Но прежде вспомним, что такое A/B/n-тестирование. Без этого будет сложно разобраться в теме.
Читайте также
12 принципов для A/B-тестирования
A/B/n-тестирование: коротко о главном
Когда проводят А/В-тестирование, сравнивают два варианта почти одинакового контента, но с некоторыми отличиями. Например, у одного и того же баннера меняют цвет кнопки CTA: в одном варианте кнопка красная, в другом — голубая.
Дальше запускают оба баннера в рекламу. При этом трафик, который получает баннер, делится пополам. Это логично: часть пользователей во время теста увидит баннер с красной кнопкой, часть — с голубой.
A/B/n-тестирование — расширенная версия сплит-теста. A/B/n-тестирование позволяет сравнить не два, а сразу несколько вариантов рекламного контента. Трафик с контента при этом распределяется равномерно. В примере с кнопками CTA на баннере проверяем, как работают красная, голубая, жёлтая и зелёная.
Во время A/B/n-тестирования проверяют также отдельные элементы:
- надписи на кнопках;
- расположение форм;
- размер элементов;
- названия услуг;
- изображение продуктов;
- варианты готовых шаблонов: несколько версий дизайна страницы целиком, дизайн push-уведомлений и лид-магнитов.
Цель подобных тестов — определить, какой элемент в рекламном контенте приносит больше конверсий.
Приведем пример A/B/n-теста.
Интернет-магазин отправляет email-напоминание пользователям, которые положили товар в корзину, но так и не оформили заказ. Выдвигается гипотеза, что конверсию письма можно увеличить, изменив цвет кнопки для перехода в корзину. Для тестирования разрабатываются три варианта: красная, синяя и зелёная кнопка. Рассылку получают 3 000 пользователей. Каждый вариант видит по 1 000 человек. Отчёт о кликах позволяет определить, что наибольшая конверсия у красной кнопки: именно из этого варианта письма пользователи чаще всего возвращались в корзину.
Читайте также
Как проводить A/B-тесты на сайте и оценивать результаты в Google Analytics
Что такое MVT
Мультивариантное тестирование, или MVT, используют, когда надо проанализировать, насколько эффективно работают комбинации элементов на веб-ресурсах. Отличается MVT от A/B/n тем, что тестируемые элементы — это не обособленные друг от друга части контента, а совокупности.
Рассмотрим пример.
Нужно оценить эффективность кнопки CTA на баннере. Можно выбрать разный текст на кнопке: «Заказать» или «Купить». А ещё начертание шрифта использовать обычное или полужирное. Также саму кнопку можно покрасить в жёлтый или красный, а снизу добавить надпись: «Сейчас» или «Этот товар просматривают пять человек». Итого — 16 вариантов комбинаций, которые надо проверить. Кроме как через MVT, это сделать нельзя.
Обратите внимание, MVT призван оптимизировать дизайн страницы. Вы жонглируете комбинациями элементов, но дизайн остаётся неизменным. Если нужно протестировать дизайн целиком, используйте A/B- или A/B/n-тест.
В то же время A/B не подходит для сравнения комбинаций элементов. Объясним на примере. На сайте тестируется два элемента. Каждый имеет два варианта. Всего получается четыре комбинации:
Допустим, мы используем A/B-тест. Сравнив текст («Заказать» и «Купить»), мы обнаружили, что текст «Купить» эффективнее. Запускаем тест второй раз. Теперь сравниваем жёлтую и красную кнопку. Красная приносит больше конверсий. Вывод напрашивается: красная кнопка «Купить» — лучший вариант. Однако, если подумать, мы так и не проверили красную кнопку «Заказать». Возможно, она оказалась бы эффективнее.
MVT помогает понять, как элементы взаимодействуют между собой. Если A/B-тест определит лучший элемент на странице или в письме, то MVT укажет на лучшую комбинацию элементов.
Иногда для сравнения комбинаций применяют A/B/n-тест. В таком случае маркетолог вручную выбирает варианты, которые хочет протестировать. Обычно вносятся самые значимые изменения, и вариантов гораздо меньше, чем при MVT.
Модели MVT
В зависимости от того, как распределяется трафик между разными тестируемыми комбинациями, выделяют две модели MVT: полнофакторный и дробный тесты.
Полнофакторная модель
Проверяет все возможные комбинации рекламного контента, а трафик между ними делит поровну. Например, если надо протестировать восемь типов комбинаций на главной странице, каждый тестовый вариант получит одну восьмую всего трафика сайта.
Статистически этот подход точен, но задействует неимоверно много трафика.
Количество возможных вариантов равно 2n, где n — это факторы, т. е. изменяемые элементы. Каждый фактор может принимать только два значения: −1 и +1. Далее сочетаем значения факторов во всех возможных комбинациях.
Допустим, нужно протестировать три элемента: кнопку CTA (фактор А), надпись на этой кнопке (фактор В) и фон раздела с кнопкой (фактор С). Присваиваем каждому варианту одно из значений. Например, для фактора A кнопка CTA жёлтая — +1, а оранжевая будет −1.
Вот так выглядят все возможные комбинации факторов:
| Варианты | A | B | C | |
| Фактор A | 1 | −1 | −1 | −1 |
| Фактор B | 2 | −1 | −1 | +1 |
| Фактор C | 3 | −1 | +1 | −1 |
| 4 | −1 | +1 | +1 | |
| 5 | +1 | −1 | −1 | |
| 6 | +1 | −1 | +1 | |
| 7 | +1 | +1 | −1 | |
| 8 | +1 | +1 | +1 |
В таблице расписали все возможные комбинации проверок. Теперь можно запустить тест, который проверит каждую.
Дробная модель
Особенность модели: из всех возможных комбинаций в итоговое тестирование попадают не все варианты, а те, которые обладают, по мнению менеджеров, наибольшей важностью. В таблице ниже они выделены серым.
| Варианты | A | B | C | |
| Фактор A | 1 | +1 | +1 | −1 |
| Фактор B | 2 | −1 | +1 | −1 |
| Фактор C | 3 | −1 | −1 | +1 |
| 4 | +1 | +1 | +1 |
Точность дробного MVT меньше, чем в полнофакторном мультивариантном тестировании, зато его быстрее провести. Другое преимущество — дробный тест требует меньше трафика. Он подходит для сайтов, на которые заходит мало пользователей.
Как провести MVT: алгоритм
Чтобы провести тест, нужно выполнить семь задач:
- Определить проблему. Тест проводят, чтобы решить конкретную проблему. Поэтому этап важен, от него напрямую зависит результат. Проблему формируют на основе анализа обратной связи, жалоб, заявок. Как может звучать проблема?
Например:
- клиенты редко просматривают вкладку «Дополнительные товары» — нет допродаж;
- потенциальные покупатели часто оставляют брошенной корзину и не нажимают кнопку «Заказать», чтобы оформить заказ.
- Выдвинуть гипотезу. Гипотеза — предполагаемое решение проблемы. Это чётко сформулированный прогноз, отвечающий на вопрос, что произойдёт, если вы внесёте изменения. Например, так: «Если изменить кнопку перехода на вкладку „Дополнительные товары“, число просмотров увеличится в три раза». Гипотеза должна основываться на аналитических данных.
- Сформулировать сценарии тестов. Когда есть гипотеза и чёткое представление, какие элементы надо протестировать, создают варианты с различными комбинациями. Измените фоновый цвет кнопок, сделайте текст лаконичным, добавьте изображения — ориентируйтесь на гипотезу. Не стоит тестировать все возможные элементы. Сосредоточьтесь на тех, которые с большей вероятностью подтолкнут пользователей к целевому действию.
- Выбрать метрики и проверить тестируемые элементы. Замеряют количество просмотров, кликов и другие показатели, которые могут продемонстрировать эффективность теста. Например, если тестируется кнопка в email-письме, ключевым показателем станет CTOR (количество кликов / количество открытий). Ещё лучше — воспользоваться картой кликов, чтобы узнать точный процент кликов по тестируемой кнопке. Также перед запуском теста проверяют тестируемые элементы. Они должны быть исправны: кнопки должны нажиматься, ссылки — вести на страницы, формы — заполняться.
- Подсчитать размер выборки. Размер выборки — это количество пользователей, которые должны принять участие в тестировании, прежде чем вы сможете сделать вывод о результатах. Например, если вы тестируете страницу сайта, то выборка — это посетители этой страницы. Размер выборки влияет на точность результата.
Чтобы определить необходимое количество, используют специальные калькуляторы. В них заносят текущую конверсию и ожидаемый эффект в процентах, то есть на сколько процентов хочется конверсию улучшить.
Для заданных условий тестирования потребуется 30 244 уникальных просмотра для каждого тестируемого варианта - Запустить тестирование. Лучше тестировать все варианты сразу, поскольку на результаты теста могут повлиять внешние факторы: время суток, сезонность, день недели. Тест считают завершённым, когда каждый вариант набрал требуемое количество просмотров.
- Проанализировать результаты. Рассчитать статистическую значимость полученных результатов снова помогут онлайн-калькуляторы. Указывают размер выборки и число конверсий, после чего узнают, какой вариант теста лучший и есть ли вообще разница между вариантами. Дальше решают, применять какой-либо протестированный вариант или тест стоит продолжить.
Как улучшить MVT-тестирование
Чтобы мультивариантное тестирование было эффективным, стоит обратить внимание на некоторые моменты.
- Убедиться, что MVT подходит компании. Метод затратный, для него нужен большой трафик, который тоже требует финансовых вложений. Если компания ограничена в бюджете, лучше использовать A/B-тесты. Кроме того, результаты A/B-теста можно использовать сразу, а вот результаты MVT предполагают постепенные изменения.
- Не тестировать все возможные комбинации. Лучше проверять только те элементы, которые могут сильно повлиять на коэффициент конверсии. Также с увеличением количества переменных требуемый трафик возрастает и снижается точность результатов.
- Исключить слабые варианты. Как только тест достигнет минимального размера выборки, надо убрать самые неудачные варианты. В итоге больше трафика получат варианты, которые работают хорошо. Время тестирования сократится.
Плюсы и минусы MVT
Преимущества
- Экономия времени. MVT позволяет тестировать много элементов одновременно. Если бы мы тестировали столько же элементов через A/B/n-метод, пришлось бы провести несколько тестов подряд.
- Анализ поведения пользователей. Тест даёт чёткое представление о поведении пользователя: что ему нравится, а что раздражает. Эти данные можно использовать в рекламных кампаниях или при оптимизации других страниц сайта. Так вы увеличите шансы, что клиент купит продукт у вас.
- Увеличение трафика и конверсии. Чем лучше посадочная страница соответствует ожиданиям пользователя, тем больше времени он проводит на сайте. Соответственно, увеличивается глубина просмотра страниц — это один из ключевых факторов ранжирования. В итоге сайт поднимается в результатах выдачи, и больше людей могут его увидеть.
- Проверка идей. Как определить без ругани сотрудников на очередном совещании, какая идея выстрелит? С помощью теста. Он объективно покажет лучший вариант.
Недостатки
- Трафик. MVT требует большой объём трафика, иначе вы не получите достоверных результатов. Если необходимо протестировать страницы с небольшим числом посетителей, придётся уменьшить количество вариантов или использовать другой метод тестирования.
- Сложная настройка. Для мультивариантного теста нужен чётко разработанный сценарий. Любая ошибка в планировании комбинаций может привести к неверным результатам. Многие обращаются к A/B/n-тестам, чтобы избежать трудностей.
- Долго. Настройка занимает немало времени, но ещё больше времени может занять само тестирование. Если за неделю сайт посещает 1 000 человек, а минимальный размер выборки — 5 000 человек, тест займёт пять недель. С количеством комбинаций растёт и размер выборки.
- Ложные клики. При проведении MVT в 5% случаях происходит ложное срабатывание — когда пользователь совершает целевое действие из-за дополнительных факторов, а не под влиянием тестируемых элементов. Чем больше вариантов, тем выше риск случайных кликов. Важно учитывать это при решении.
Заключение
- MVT целесообразно проводить в качестве дополнения к A/B/n, а не использовать как самостоятельный инструмент. В основном сплит-тесты проводят, чтобы реализовать глобальные изменения, а MVT — для оптимизации без глобального редизайна.
- Существует две модели MVT: полнофакторная и дробная. Полнофакторная модель проверяет все возможные комбинации и делит трафик поровну. Дробная — проверяет только наиболее важные комбинации. Эта модель менее точная, но она подходит для страниц с невысоким трафиком.
- Несмотря на то что MVT требователен к трафику, пренебрегать тестированием не стоит: механизм экономит бизнесу время и деньги.
Напоминаем, в телеграм-канале «Маркетинг за три минуты» мы пересказываем самые интересные материалы об онлайн-маркетинге в постах-трёхминутках — подписывайтесь и будьте в курсе. А если хотите поболтать и поделиться мыслями, приходите к нам в CRM-Chat.
