Метрики тщеславия vs значимые метрики

Есть метрики, которые измеряют ради тщеславия. Они всегда растут, и смотреть на них — одно удовольствие. Проблема в том, что метрики тщеславия вводят в заблуждение и не приносят ценности для развития продукта. Поэтому важно научиться отличать метрики тщеславия от значимых метрик.

Мы перевели статью, которая поможет выбирать метрики грамотнее.

Тщеславие: чем больше, тем лучше

Явный признак метрики тщеславия — она постоянно растет, причём чем выше показатель, тем лучше. Например, общее число пользователей, количество скачиваний приложения, просмотры страницы, количество людей, поделившихся информацией в соцсетях. К этим показателям часто проявляют интерес, но они почти всегда растут с течением времени, но не сообщают ничего полезного об UX вашего продукта. Чтобы превратить метрику тщеславия в значимую метрику, её нужно помещать в контекст.

Читайте также

Аналитика форм на сайте — настройка в Google Tag Manager

Вместо простого отслеживания цифры добавьте контекст так, чтобы цифра выражалась процентно или превращалась в пропорцию. Например, вы знаете, что люди, которые досматривают видео на сайте до конца, конвертируются лучше. Измеряйте не просто количество просмотров, а динамику просмотров. Вы сделали блок с видео заметнее — увеличился ли процент людей, досматривающих видео? Вместо того, чтобы измерять количество скачиваний приложения, считайте процент скачавших людей от процента посетивших страницу приложения. А ещё лучше — отношение скачиваний, которые привели к активному использованию, ко всем скачиваниям.

В идеале отслеживаемые соотношения должны быть стабильными. Если появляются колебания, то они должны быть оправданы конструктивными изменениями, а не случайными причинами.

Красная кривая на графике — кумулятивная. Например, она может показывать общее количество людей, скачавших приложение, меняющееся с течением времени. Синяя кривая — отношение новых активных пользователей к количеству скачиваний в неделю. Она будет оставаться примерно стабильной всё время, если нет никаких изменений. Её значимость в том, что изменения в приложении сразу отразятся на этой метрике, так что по ней можно будет понять, как они повлияли на вовлечённость пользователей. Судя по приведённому графику, изменения в приложение были внесены после четвёртой недели.

Временные рамки

Определить временной промежуток — самый простой способ добавить значимости метрике.

Правда, здесь сложность в том, за какое время отслеживать показатель. В коротких временных рамках можно быстро отследить изменения метрики и связать их с изменениями в продукте или с маркетинговой активностью. Но в короткие промежутки часто случаются небольшие колебания, которые на самом деле ничего не отражают. Показатели за долгий срок, например, за год, более стабильны, но вряд ли вы захотите ждать целый год, чтобы увидеть, что ваши действия ухудшили показатели.

Поэтому надо искать самые короткие сроки, в которых метрики остаются стабильными.

Например, вместо того, чтобы отслеживать общее число пользователей в своей растущей базе, лучше смотреть на количество новых пользователей в неделю. Или количество новых пользователей, совершивших важное действие, например, прошедших регистрацию до конца, настроивших первое действие в сервисе, включивших уведомления. Так можно проверить влияние маркетинговых кампаний на поведение пользователей.

Показатели на пользователя (per-user rates) и на каждое посещение (per-visit rates)

Хорошая идея — отслеживать метрику в пересчёте на пользователя. Так вы увидите, какой процент пользователей совершил важное действие, будете понимать пропорции между теми, кто его совершает, и теми, кто не доходит до него. Приятный побочный эффект — такой подход не даёт забыть, что за цифрами стоят живые люди — ваши пользователи.

По умолчанию большинство популярных аналитических инструментов отражают количество действий в пересчёте на сессии. Например, конверсия — количество целевых действий, разделённое на количество сессий. Если конверсия составляет 33%, значит, в трети сессий было совершено целевое действие. Проблема в том, что эта метрика не говорит, какой процент пользователей совершили действие.

Для анализа данных в пересчёте на пользователей используют когорты. Обычно когорта — группа пользователей, которая объединена одним признаком, чаще всего — временем появления на сайте. Если от одной когорты к другой метрика не меняется, например, если пользователи, зарегистрировавшиеся в первую неделю месяца, конвертировались в активных в том же объёме, что и пользователи, зарегистрировавшиеся во вторую неделю, значит, в UX ничего принципиально не поменялось или изменения не оказали влияния. Если же изменения заметны, значит, надо исследовать, что случилось.

Отслеживание показателей на сессию не всегда плохая идея. Если событие случается несколько раз за посещение, то его измерение оправдано. Например, количество просмотренных страниц за сессию — более значимый показатель, чем общее количество просмотров страницы — метрики тщеславия.

Соотношения между метриками

Иногда, чтобы придать метрике значимость, её можно сопоставить с другой метрикой. Например, сравнивать количество уникальных открытий письма с общим количеством открытий. Если отношение уникальных к общему небольшое, значит, читатели часто возвращаются к контенту письма и находят в нём пользу.

Можно также сравнивать одну и ту же метрику, но за разный период. Например, коэффициент залипания (stickiness ratio) — коэффициент стабильности базы — появился именно так. Он сравнивает количество ежедневно / еженедельно активных пользователей (DAU / WAU) с количеством ежемесячно активных пользователей. Если это соотношение равно 10%, значит, 10% ваших ежемесячно активных пользователей пользуются приложением каждый день.

Заключение

Все отслеживаемые метрики должны помогать оценивать производительность вашей системы и сообщать, нужно ли что-то предпринять. Идеально использовать процентные соотношения и пропорции, которые преимущественно остаются стабильными. Когда в них вдруг что-то меняется, значит, либо это вызвано какими-то конструктивными изменениями с вашей стороны, либо произошёл сбой. И это точно не случайные колебания. Если метрика меняется с течением времени, но данные о ней нельзя применить на практике, значит, скорее всего, это метрика тщеславия, и она не стоит внимания.