Сегодня хотелось бы рассказать Вам про продуктовые метрики. Причем нужно сразу же сделать акцент на том, что в качестве продукта в данном случае может выступать не только какое-то мобильное приложение или какая-то сложная платформа. На месте продукта может быть сайт или интернет-магазин.
В этом контексте мы будем рассматривать конструктор карт в качестве продукта, потому что хочется показать на конкретном примере, как можно смотреть на метрики и их оценивать. Существует определенный набор стандартных метрик, на которые принято смотреть. Однако в процессе развития сайта или продукта в нем происходят различные события, которые влияют на эти метрики. И если мы будем смотреть на какие-то стандартные метрики типа Daily Active Users (ежедневная аудитория), Monthly Active Users (месячная аудитория), то мы вряд ли сможем сделать какие-то выводы относительно того, как развивался сайт, какое именно событие повлияло на его развитие в лучшую или худшую сторону.
Поэтому здесь очень важно смотреть на когорты, на конкретные группы пользователей, чтобы понимать, какие пользователи в каких событиях принимали участие, оставались они внутри продукта или же они уходили из этого продукта, как только понимали, что он им не подходит или он им разонравился и т.д.
Конструктор карт и его возможности
Для начала, в нескольких словах расскажем о конструкторе карт и его возможностях.
Конструктор карт – это достаточно простой инструмент. Для чего он был сделан? С одной стороны, есть API карт, которое подразумевает, что человек, который использует API карт, понимает, что такое разработка, знает язык программирования JavaScript и умеет всем этим пользоваться. С другой стороны, есть аудитория, достаточно большой процент которой в программировании не разбирается. Но этой аудитории также нужны карты, они тоже хотят их использовать на сайтах или где-либо еще. Поэтому был придуман конструктор карт, который дал людям возможность создавать карты внутри отдельного сайта.
Это первая страница продукта. Здесь пользователь может нарисовать карту. Он может поставить метки, нарисовать линии, полигоны и так далее. Дальше он нажимает кнопку «Сохранить и продолжить» и попадает во вторую часть конструктора.
Здесь он может выбрать тип карты. Таким образом, весь продукт состоит из двух шагов. Первый – нарисовать карту. Второй – выбрать тип карты, который ему нужен. Карта может быть как для сайта, так и для печати. Ничего сложного, можно этим пользоваться и создавать карты.
Аудитория конструктора карт
Если говорить об аудитории, то ее можно разделить на два типа. С одной стороны, это бизнес, представители которого создают, сохраняют карты для того, чтобы вставить на сайт, показать пользователям, где, например, расположены зоны доставки, – куда можно доставить пиццу за 300 рублей, куда за 500.
Но также есть аудитория, которая использует карту в личных целях. Например, люди, которые рисуют различные маршруты прогулки на субботу. Или размечающие на карте удачные места для рыбалки.
Примеры использования конструктора карт
Пример с точками.
Маршруты.
Зоны доставки, которые показывают, в каком районе какая стоимость доставки.
Пример с метками – можно подгружать красивые метки, размечать, делать карту тематической.
Пример РБК – журналисты РБК создали карту, чтобы проиллюстрировать материал про конфликт в Сирии.
Развитие продукта и ключевые метрики
Перейдем к метрикам и к вопросу о продукте и о продуктовых метриках.
На слайде вы видите визиты по аудитории. Стрелочками отмечены два ключевых события, которые произошли внутри продукта. Два этих события, как видно на графике, повлияли на размер аудитории, на количество визитов.
- Октябрь 2015 года: «переезд» пользователей из другого продукта.
- Март 2016 года: официальный анонс новой функциональности.
Первое событие было связано с переездом – часть аудитории принудительно заставили перейти в продукт. Второе событие было связано с появлением нового функционала внутри продукта. Что имеется в виду под переездом? Когда-то давно у пользователей была возможность зайти на Яндекс.Карты – будем называть их «большими картами» – и сделать практически те же самые действия, которые есть сейчас внутри конструктора, только на больших картах. Поставить точки, сделать свою карту – несмотря на то, что этот функционал не был приоритетным, пользователи применяли его, создавали свои карты и т.д.
В какой-то момент дизайн карт обновился, и туда этот функционал не попал – его вынесли в отдельный продукт. По сути,пользователям, которые сидят на старой версии дизайна, сказали – извините, друзья, если вы хотите отредактировать ранее созданные вами карты, вы можете сделать это с помощью нового инструмента. И отправляли их ссылкой на этот инструмент. Рост аудитории внутри конструктора был связан с тем, что людей принудительно перевезли из другого сервиса.
Вторая история была связана с анонсом карты для печати внутри конструктора. Если раньше вы могли создавать карты только для сайта, то сейчас вы можете сделать полноценную карту для того, чтобы ее распечатать и повесить на улице города или у себя дома. Этот анонс был сделан на больших картах, потому что там находится целевая аудитория. В результате был получен определенный взлет (он виден на графике).
Этот функционал возник не просто так. Его сделали, потому что люди часто писали в техподдержку и говорили – выгрузите, пожалуйста, нам карту, мы хотим сделать городской проект. Или мы хотим разметить музей. Или мы МЧС, мы хотим разметить определенные точки и использовать это в своей работе. Это был актуальный запрос, и его добавили внутрь продукта.
Если посмотреть на график, на ежедневную или месячную аудиторию, мы вряд ли сможем сделать выводы о том, каким образом эти два события повлияли на продукт. С одной стороны, аудитория выросла. С другой, когда пользователей переводили из больших карт внутрь конструктора, в поддержку Яндекса написали много гневных отзывов – верните нам, пожалуйста, «Мои карты» в больших картах, потому что мы привыкли этим пользоваться и не хотим идти в новый конструктор. Несмотря на это на графике был определенный рост аудитории. Тогда команда Яндекс.Карт решила покопать немного глубже и разделить аудиторию на когорты.
Получилось три группы. Первая группа – это те люди, которых перевезли. В качестве даты первого визита была указана та неделя, когда появилось сообщение о переходе в новый конструктор, поэтому источник трафика был понятен. Для второй группы был анонс в виде рекламного сообщения. Там была проставлена . Третья группа – это стандартные пользователи конструктора, которые не участвовали ни в первом, ни во втором событиях. Они были нужны для сравнения поведения тех или иных групп.
Недостаточно просто выделить группы, нужно понять, в каком разрезе мы хотим проанализировать поведение этой аудитории. Для этого нужно экспериментировать с воронками. С одной стороны, есть стандартная воронка и определенный соблазн придерживаться именно этих пунктов:
- Привлечение. Как пользователи вас находят?
- Активация. Получают ли они первый успешный опыт?
- Удержание. Они возвращаются на сервис?
- Доход. Как вы зарабатываете?
- Рекомендации. Рассказывают ли они о вас другим?
Для команды Яндекс.Карт были важны всего два пункта – активация и удержание. С привлечением, с точки зрения источника трафика, все было понятно. С точки зрения дохода, Яндекс не зарабатывает на конструкторе деньги, его применяют в качестве маркетингового инструмента, чтобы люди знали про Яндекс.Карты и использовали их в разных сценариях.
Что касается рекомендаций, тут тоже достаточно тонкий момент, потому что люди, которые создают карты с помощью конструктора, вставляют их себе на сайт, печатают их и размещают где-то в городе. Таким образом, возникает вторичный, третичный и т.д. контакт, и эти карты являются рекомендациями. В случае с печатными картами посчитать эффект невозможно. Поэтому команда Яндекс.Карт решила сосредоточиться на двух ключевых пунктах, связанных с положительным опытом и возвращением в сервис, и проанализировать ситуацию в этом контексте.
Группа № 1. Мои карты
Перейдем к группам и начнем с группы людей, которых перевезли из больших карт. Сравнивать эту группу мы будем с третьей стандартной группой и посмотрим на поведенческие метрики.
Вот таким образом выглядело сообщение: «Дорогой друг, переходи в специальный конструктор, ты можешь там редактировать уже имеющиеся у тебя карты и создавать новые». Напомним, что здесь первый пункт воронки рассматривается в качестве положительного опыта.
В качестве цели была установлена кнопка открыть «Из моих карт». То есть человек пришел и хочет открыть карту, созданную ранее. Для этого он выбирает специальную вкладку и нужную ему карту. После того как он выбрал карту, мы смотрим на этот параметр.
По оси X идут недели, по оси Y идут проценты. График выглядит вполне прилично и показывает динамику по неделям. Люди продолжали приходить в течение 8–9 недель и пользоваться этим функционалом внутри конструктора.
Если сравнить две аудитории, стандартную и тех, кто пришел из «Моих карт», мы увидим, что активность у вторых гораздо выше, чем у первых. Это свидетельствовало о том, что люди, несмотря на какую-то негативную обратную связь, все-таки пользовались новым продуктом, пытались познакомиться с ним, изучить его возможности.
В качестве второго критерия для анализа была выбрана кнопка «Сохранить и продолжить». Эта кнопка позволяет перейти от первого шага (рисования карты) ко второму шагу, выбору типа карты – печатная либо карта на сайт. Здесь получился вот такой график:
Если наложить его на стандартную аудиторию, мы увидим, что люди переходят с первого экрана на второй, не покидают продукт на первом экране, изучают его возможности. В качестве активации, в качестве первого опыта знакомства с продуктом, это очень здорово.
В качестве удержания рассматривалась метрика «Открыть из конструктора». Когда пользователь попадает в продукт, у него есть возможность выбрать карты. Карту он может подгрузить либо из тех, которые он создавал на больших картах, либо может открыть карту из конструктора.
Во втором случае это значит, что он уже создал там какие-то карты – либо в качестве эксперимента, либо он уже начал активно пользоваться продуктом. В этом случае, график выглядит таким образом. Если пользователь открывает карту из конструктора, по недельной разбивке это выглядит так:
Если сравнивать со стандартной аудиторией, видно, что активность даже чуть выше.
А вот этот график показывает, что людей, которые открывают карту из конструктора, становится все больше, график растет. А график, связанный с тем, что люди открывают из «Моих карт» (тех карт, которые они создавали в предыдущем продукте), снижается. То есть они создают все больше карт в новом конструкторе, значит они им пользуются, значит они достигают поставленной цели.
Группа № 2. Печатные карты
Это группа, для которой анонсировали новый функционал с печатными картами. Это другой сценарий и другая история. Вторую группу мы сравнивали с третьей – группой стандартных пользователей конструктора. Вот таким образом выглядел анонс – рекламное сообщение, на которое можно было кликнуть.
С точки зрения параметров анализа, точкой активации была выбрана цель «Открыть раздел «Помощь». Ее выбрали, потому что «Помощь» позволяет человеку разобраться и ответить на вопросы. У печатной карты есть определенные ограничения, об этих ограничениях написано в разделе «Помощь».
Вот скриншот раздела «Помощь», чтобы вам было понятно, как этот раздел представлен внутри продукта.
И вот как выглядит график, связанный с помощью. На этом графике видно, что есть определенный взлет и постепенно этот график уходит в ноль. Не зная последующей картинки, гипотетически можно было бы предположить, что люди познакомились с возможностями приложения, и зачем им потом открывать помощь, если они уже знают, что собой представляет продукт, и умеют им пользоваться. Здесь все выглядит вполне логично.
Но если посмотреть в разрезе со стандартной аудиторией, то стандартная аудитория так или иначе прибегает к разделу «Помощь», потому что появляются новые пользователи, которые еще не знают всех возможностей.
Рассмотрим еще один параметр – параметр «Сохранить и продолжить». Это переход от первого этапа взаимодействия продукта, когда рисуется карта, ко второму этапу, когда определен способ ее использования – распечатать или вставить на сайт. Здесь график тоже выглядит достаточно странно, потому что на третьей неделе всё, как и в прошлый раз, сходит к нулю. Мы видим какую-то первую активность – люди нажимают на эту кнопку, а потом они из этой когорты перестают это делать.
Давайте посмотрим, как выглядит ситуация по сравнению со стандартной аудиторией. Здесь получается следующая картинка. Во-первых, эти показатели ниже, чем у стандартной аудитории. И здесь мы можем предположить, что эта аудитория, которая перешла с рекламного баннера, это люди, которые более или менее заинтересованы в теме картографии. Но есть предположение, что на этом этапе отсеялись те, кто просто пришел познакомиться с продуктом, не стал дальше изучать его возможности и закрыл продукт. А те, кто действительно хотели создать карту для печати, перешли на второй шаг.
Что касается снижения в ноль, изначально была гипотеза, что люди, которые пришли с рекламного баннера, поэкспериментировали и ушли. Но здесь важно посмотреть на параметр удержания. Важным параметром был «Сохранить карту на Яндекс.Диск».
Это скриншот второго экрана, когда пользователь нарисовал карту и хочет выбрать ее тип. У него есть возможность нажать на кнопку «Сохранить на Яндекс.Диск» и получить печатную карту, которую он создал, и распечатать ее, например, в типографии.
График имеет такую же тенденцию – на третьей неделе он сходит к нулю.
Здесь мы видим, что активность существенно выше, чем у стандартной аудитории, но на третьей неделе опять нулевая активность. Теперь нужно посмотреть на еще один график. Этот график связан с активностью пользователей без деления на когорты внутри продукта.
Та аудитория, которая пришла с рекламного сообщения, впоследствии могла возвращаться в продукт. И этот график подтверждает, что она действительно возвращалась в продукт и делала операцию «Сохранить на Яндекс.Диск», чтобы напечатать карту. Но она возвращалась не обязательно по рекламной ссылке, она могла вернуться, например, набирая в поиске «конструктор карт Яндекса», сделав закладку, и т.д. На третьей неделе был потерян контакт по рекламной ссылке, и эта аудитория конвертировалась в постоянную.
Выводы
Если говорить о выводах, которые можно сделать из этого детального анализа, нужно отметить 4 момента:
- Помните о том, что не все метрики одинаково полезны. Первый момент связан с тем, что не нужно бояться экспериментировать с метриками, с продуктовыми показателями. Смотрите на события, делите аудиторию по группам, отвечайте на те вопросы, которые у вас возникают. Потому что действительно важно понимать не просто тенденцию к росту или снижению аудитории в целом, но и причины этого роста или снижения.
- Адаптируйте типовые воронки под цели и особенности вашего продукта. Не бойтесь адаптировать воронки под свой продукт. Есть стандартные воронки – про адаптацию, удержание, рекомендацию и прочее. Но все продукты абсолютно разные. Нельзя просто так взять и наложить продукт на уже существующую воронку. У каждого продукта есть свои особенности. Не бойтесь подгонять под эту воронку какие-то свои цели и стараться сделать по этой воронке выводы.
- Делите аудиторию на когорты и наблюдайте за динамикой. Деление аудитории на когорты – это очень интересная практика. Она позволяет понять, как ведет себя аудитория в зависимости от того, в какой момент она присоединилась к продукту, что этому способствовало, что этому предшествовало.
- Подводите итоги, учитывая полную картину – количество вложенных усилий и эффект. Четвертый и последний пункт – про картинку целиком. Яндекс разместил баннер на своем же сайте. Ему это стоило полчаса работы дизайнера, который нарисовал картинки. Если бы у команды Яндекс.Карт был большой рекламный бюджет и его бы потратили на то, чтобы разместить баннер на каком-то очень дорогом ресурсе, то, возможно, эти деньги были бы потрачены впустую.
Источник (видео): Карты и конверсия. — Татьяна Попова (Яндекс).
Магомед Чербижев
Когортный анализ это выделение определенной группы пользователей (когорты) и анализ ее поведения во времени. Пользователей в когорте объединяет совершение действия на определенном промежутке времени.
Пример когортного анализа:
Мы разделили пользователей на три когорты, в зависимости от версии приложения которое они скачали и смотрим какой процент из них продолжает пользоваться приложением через 1, 2, 3, 4, 5 и 6 недель.
Наблюдение за когортами происходит в разные отрезки времени. Если версии выходят раз в две недели, то мы собираем данные о пользователях, скачавших первую версию в январе, а третью в феврале.
Когортный анализ дает нам понимание о качестве версий 1, 2 и 3 нашего приложения, объясняет какая из версий лучше удерживает пользователей в приложении. Без разделения на когорты мы бы получили усредненные данные по всем версиям, что бесполезно.
Отслеживаемым событием может быть прохождение туториала, покупка, сумма покупок за неделю и т.д. Данные для когортного отчета полезно предварительно фильтровать по каналу привлечения или стране.
Из инструментов мобильной аналитики только KISSMetrics поддерживает когорты по параметрам (версия продукта, канал привлечения), поэтому дальше мы будем рассматривать когорты пользователей скачавших приложений в определенную неделю. Изменения показателей при выходе новой версии можно отследить сопоставив дату выхода с неделей когорты.
Метрики роста и метрики продукта
Олег Якубенков из ZeptoLab в своем блоге доносит идею метрик роста против метрик продукта. Большинство компаний отслеживает метрики роста: количество активных пользователей в месяц (MAU) и прибыль с приложения. Проблема в том, что на метрики роста влияет и качество продукта и продвижение приложения. По ним сложно понять улучшают ли продукт наши изменения.
Наглядный пример: команда продвижения привлекает каждый месяц на 5 000 пользователей больше, а продукт менеджер в каждой версии вносит изменения снижающие доход на пользователя. Активные пользователи растут, прибыль с приложения растет, но продукт становится все хуже и только через год они пойдут вниз, хотя уже слишком поздно. Поэтому нужно отслеживать так же метрики продукта.
Метрики продукта это LTV — суммарный доход с пользователя пока он не покинет приложение и CAC — стоимость привлечения пользователя. Олег декомпозирует LTV и приводит пример агреггированного когортного отчета для приложения со встроенными покупками.
Подробнее о метриках из отчета читайте в статье .
Когортный анализ во Flurry и Google Analytics Flurry не поддерживает отчеты для когортного анализа, но все же можно его провести.
Для этого создайте сегменты пользователей, скачавших приложение в разные недели (Manage → Segments → Create new segment). Открываете любой отчет и фильтруете по сегменту, разные когорты сравниваете на разных вкладках браузера. Для анализа во времени, отфильтруйте отчет по нужно неделе. В Google Analytics подход такой же. Создаем Advanched Segment с понедельными Date of First Visit.
Это примерное приближение, полноценный когортный анализ во Flurry или GA не осуществить.
Когортный анализ в KISSMetrics и Mixpanel KISSMetrics и Mixpanel поддерживают когортный анализ. В KISSMetrics он называется ‘Cohort Report’ в Mixpanel ’Retention’.
В обоих системах отчет строится по одному принципу: выбираете событие по времени наступления которого создаются когорты (Show people who did). В большинстве случае это запуск приложения. Второе событие (Then come back and did) это то действие пользователя, которое нам интересно.
Примеры пар событий:
- «запуск приложения → запуск приложения» возвращаемость когорт пользователей, разбитых по неделе скачивания, в приложение по неделям.
- «запуск приложения → покупка» покупки совершенные когортами по неделям.
- «запуск приложения → завершение туториала» процент пользователей завершивших туториал по неделям после скачивания.
KISSMetrics умеет строить когорты по параметрам, например, не неделя установки а первая версия скачанного приложения. А Mixpanel создавать сложные когорты с фильтрацией по параметру (канал привлечения, модель телефона, страна, ...).
Я рекомендую Mixpanel. У KISSMetrics нет библиотеки под Android и возможности отфильтровать когортный отчет по каналу привлечения. Тем более Mixpanel можно использовать бесплатно , разместив их банер в подвале сайта.
И к сожалению, инструменты не позволяют построить отчет с суммой покупок за неделю (для LTV) его придется собирать вручную.
Ежемесячные отчеты по мобильному приложению
Рекомендую сразу после прочтения письма придумать отчет по примеру Олега и собрать данные. Составляйте этот отчет раз в месяц и рассылайте руководству и всей команде. Не забудьте отмечать в отчете выход новой версии. Через некоторое время вы заметите зависимость между цифрами и не будете изменять продукт в слепую. Да и просто посчитать CAC и LTV — полезное занятие.
Обязательно прочтите
Это письмо — введение в когортный анализ, чтобы разобраться до конца обязательно прочитайте:
- «Когортный анализ. Метрики продукта vs метрики роста .»
- «Когортный анализ в
Заинтересовать инвестора можно только цифрами. Какие показатели приведут к миллиардным вложениям в вашу компанию? Венчурный фонд Andreessen Horowitz, в портфеле которого - BuzzFeed, Facebook, Foursquare, Skype и другие, описал , на какие метрики обращают внимание его партнёры, а «Секрет» выбрал самые важные из них. Мы не стали включать в список самые распространённые показатели вроде количества активных и зарегистрированных пользователей, валовой прибыли, источников трафика, стоимости привлечения клиента или среднего чека, а сосредоточились на тех метриках, которые вы вряд ли используете.
Inventory Turns / Оборачиваемость запасов
Все знают, как считать конверсию: количество товара, проданного в определённый период, надо разделить на количество товара на начало периода. Чем выше этот показатель, тем востребованнее продукты компании и тем привлекательнее компания для инвесторов. Для компаний, предоставляющих площадку для торговли (marketplace businesses), высокая конверсия означает, что поставщики и дальше будут работать с ней. Также инвесторам будет интересен рост конверсии - он особенно важен на ранних этапах и показывает развитие бизнеса.
У ритейлеров и производителей высокая конверсия указывает на то, что они способны правильно угадывать спрос и отвечать потребностям покупателей. Но для этих категорий бизнесов иногда важнее другой показатель - оборачиваемость запасов. Алгоритм вычисления следующий.
1) Надо выяснить среднюю стоимость запасов. Например, на начало года у вас было товаров на 100 000 рублей, а к концу - на 120 000 рублей. Обе цифры складываются и делятся на два - средняя стоимость запасов составляет 110 000 рублей.
2) Теперь высчитываем оборачиваемость запасов. Стоимость проданных за год товаров делится на среднюю стоимость запасов. Например, если вы продали товаров на 1,5 млн рублей, коэффициент оборачиваемости - 13. Чем выше цифра, тем эффективнее компания.
Если оборачиваемость со временем снижается, это плохой сигнал для инвесторов - либо падает спрос, либо компания не развивается. Есть два способа увеличить этот показатель и повысить привлекательность компании для инвесторов: более интенсивно продавать при том же количестве запасов или продавать так же, но снизить количество запасов, нужное для осуществления сделок.
Network Effects / Сетевые эффекты
Сетевой эффект возникает, когда ценность продукта растёт по мере того, как его используют всё больше людей. Посчитать его по одной формуле нельзя - для каждого бизнеса важно определить свои метрики, которые покажут эффект. Это нужно, чтобы не просто заявить инвестору о том, что вы создали сообщество клиентов, но и подтвердить это фактами.
Andreessen Horowitz приводит в пример компанию OpenTable - сервис по онлайн-бронированию столов в ресторанах. Их сетевой эффект заключается в том, что больший выбор ресторанов привлекает больше клиентов, а, в свою очередь, чем больше клиентов, тем больше новых ресторанов-партнёров. Вот метрики, которые помогли подтвердить этот эффект для инвесторов.
1) Производительность продажников OpenTable растёт отчасти из-за увеличившегося количества запросов от ресторанов. Это более важно, чем рост самой базы ресторанов, так как она растёт и без сетевых эффектов.
2) Число клиентов, посетивших рестораны через OpenTable, растёт. Это снова более важно, чем число зарегистрированных пользователей.
3) Число клиентов, пришедших на OpenTable, чтобы зарезервировать столик, растёт по сравнению с числом клиентов, сделавших это через сайт ресторана.
4) Наконец, отток ресторанов-партнёров снижается.
Для каждого бизнеса набор метрик будет своим, но инвестору важно видеть, что вы не просто наблюдаете этот сетевой эффект, а можете управлять им.
Virality / Виральность
Если сетевой эффект - показатель ценности сообщества клиентов, то виральность - показатель скорости, с которой продукт распространяется от одного пользователя к другому. Коэффициент виральности показывает, сколько пользователей привлекли других людей к использованию продукта. Вот базовый способ вычисления этого коэффициента.
1) Посчитайте своих действующих пользователей. Допустим, их 1000.
2) Умножьте это число на среднее число приглашений, которое отсылает один пользователь своим друзьям за определённый период времени. То есть, если пользователь отправляет за месяц около пяти приглашений друзьям, всего приглашённых пользователей 5000.
3) Определите, как много приглашённых пользователей совершили желаемое действие. Будьте осторожны с этим пунктом - например, количество скачиваний приложения вовсе не значит, что новые пользователи его запустили. Лучше выбрать тех, кто прошёл, например, первый уровень вашей игры. Допустим, получится 15%, или 750 людей.
4) Виральный коэффициент можно вычислить, если разделить количество новых пользователей на количество старых пользователей. В этом случае он равен 0,75. Результат меньше единицы не считается виральным. Если набрали выше - сумели зацепить пользователей, и ваши затраты на привлечение нового клиента будут ниже, чем у конкурентов.
Важно помнить, что виральность не свидетельствует о наличии сетевого эффекта - количество не всегда перерастает в качество.
Net Promoter Score (NPS) / Индекс лояльности
Эта метрика позволит выяснить, насколько потребитель удовлетворён вашими услугами. Она строится на главном вопросе: «Какова вероятность того, что вы порекомендуете нашу компанию / продукт / сервис другу или коллеге?» Задайте клиентам этот вопрос и позвольте отвечать по шкале от 1 до 10 (10 - вероятнее всего). Затем выясните процент «промоутеров» (тех, кто поставил от 9 до 10) и «недоброжелателей» (тех, кто поставил ≤ 6). Индекс потребительской лояльности равен разнице между процентом «промоутеров» и «недоброжелателей».
Для инвестора высокий индекс потребительской лояльности - индикатор того, что компания думает не только о количестве пользователей, которые совершили определённое действие больше нескольких раз в месяц, но и имеет хорошие перспективы развития. Также инвесторы могут сравнить ваш индекс лояльности с показателями конкурентов.
Cohort Analysis / Когортный анализ
Когортный анализ позволяет выявить, как пользователи взаимодействуют с продуктом на протяжении определённых периодов. Например, можно взять для исследования группу, которая зарегистрировалась в вашем сервисе в первую неделю января, и проследить, кто из них пользуется сервисом через месяц, три месяца, полгода и далее. Инвесторы особенно ценят это, потому что большинство стартапов не получают прибыль и только поведение пользователей может помочь оценить перспективы компании.
Вот самые важные шаги для правильного когортного анализа.
1) Выберите правильный набор метрик, а не метрики, которые пускают пыль в глаза (например, количество скачиваний).
2) Выберите правильный период для анализа - обычно это день, неделя или месяц, потому что короткие временные периоды лучше подходят для молодых бизнесов.
3) Совместите период и метрики - в это время 100% ваших пользователей делают определённое главное действие (покупают продукт, размещают фото и так далее).
4) Выберите второй период - неделя или месяц спустя - и проверьте, сколько пользователей всё ещё совершают это действие.
5) Повторяйте анализ в другое время, чтобы понять, что влияет на поведение пользователей.
Инвесторам нужно видеть, что процент удержанных клиентов (или клиентов, совершающих определённое действие) в разные периоды стабилен или растёт. Это значит, что бизнес находится на пути построения большой устойчивой базы клиентов. Также инвесторам понравится, если новые когортные анализы (например, после введения новой функции) показывают лучшие результаты, чем предыдущие. Это говорит о том, что со временем компания повышает ценность продукта и учится лучше понимать своих пользователей.
Customer Concentration Risk / Риск концентрации клиентов
Концентрация клиента определяется отношением выручки с самого большого клиента и общей выручки. То есть если самый большой клиент платит вам $2 млн в год, а общая выручка - $20 млн в год, то концентрация равна 10%. Инвесторы предпочитают компании с низким показателем концентрации, потому что бизнес, который получает все средства лишь от нескольких клиентов, больше подвержен рискам. Например, такие клиенты могут оказывать плохое влияние на продукт, требуя функций, которые подходят только им, или принуждать компанию продавать им товары и услуги по заниженным ценам.
LTV (Life Time Value) / Ценность клиента на протяжении жизненного цикла
Эта метрика позволяет выяснить долгосрочную ценность клиента - сколько чистой прибыли вы получите с него (без затрат на привлечение) за всё время ваших отношений. Для вычисления этой ценности нужно знать следующие показатели.
1) Выручка с клиента (в месяц) = средняя стоимость заказов, умноженная на количество заказов.
2) Вклад на покрытие клиента = выручка с клиента минус различные затраты на клиента (например, продажи, административный и другие операционные расходы, связанные с обслуживанием).
3) Средняя продолжительность жизни клиента (в месяцах) = 1 разделить на ежемесячный процент оттока клиентов.
Для полученияе показателя жизненной ценности вклад на покрытие надо умножить на среднюю продолжительность жизни клиента. Чем больше показатель, тем перспективнее компания для инвестора.
Burn Rate / Скорость расходования средств
Знать скорость сгорания средств особенно важно для стартапов на ранних стадиях. Когда деньги заканчиваются, у молодых компаний уже не остаётся возможностей снизить расходы и нет времени, чтобы поднять инвестиции. Формула вычисления опасной скорости проста: от баланса на начало года надо отнять баланс на конец года и разделить результат на 12. Год - нестрогое ограничение по времени, можно взять любое число месяцев и, соответственно, подставить его в делитель.
CMGR (Compounded Monthly Growth Rate) / Составной месячный темп роста
Ежемесячный рост измерить очень просто - обычно его считают как среднее всех ежемесячных показателей за год. Однако в Andreessen Horowitz уверяют, что инвесторов интересует совокупный показатель, который считается по более сложной формуле. Она такова: (последний месяц года / первый месяц года) * (1 / Количество месяцев) – 1. Для маленьких компаний этот показатель может быть ниже, чем просто средний темп роста.
Churn / Отток клиентов
Важно понимать не только, сколько клиентов остаётся с вами, а сколько уходит. В этом поможет формула расчёта оттока - существует несколько вариантов. Andreessen Horowitz предлагает наиболее простой: число потерянных клиентов надо разделить на число клиентов на начало периода. Учитывать новые сделки, совершённые в течение этого месяца, не надо.
К работающим по подписке облачным сервисам самые строгие требования - ежемесячный отток не должен превышать 5–7%. В других сферах этот показатель может подниматься выше 20%, но конечно, чем ниже - тем лучше для инвестора.
«Секрет» благодарит за помощь в подготовке материала CEO Blackmoon Financial Group Олега Сейдака
Меня зовут Сергей, я Product Analyst в Wikr Group. До этого занимался аналитикой в компаниях Philip Morris и Genesis, в последней дорос до продуктового аналитика. В мои обязанности входил анализ всех метрик и определение вектора роста. Затем около полугода работал в Luxoft на позиции бизнес-аналитика, занимался построением алгоритмов и микросервисов. Но аутсорсинг мне не был так интересен, как развитие продукта, а потому вскоре я принял оффер от Wikr Group. Сейчас занимаюсь развитием мобильного приложения, которое будет решать проблемы людей в области здоровья.
Опираясь на свой опыт, я хочу рассказать о должности продуктового аналитика: кто это, чем занимается такой специалист и как развиваться в этом направлении.
Работа с данными
Продуктовый аналитик - это прежде всего аналитик, а значит, он должен уметь работать с данными. Чем больше данных, тем выше вероятность принять правильное решение. Для этого необходимо изучать метрики, строить воронки, следить, к каким результатам приводят малейшие изменения.
Такой подход - принимать решение в зависимости от полученных данных - называется Data Driven Development. К примеру, есть вопрос: на какую кнопку пользователи будут охотнее кликать - красную или зеленую? При DDD-подходе ответ находят с помощью A/B-тестирования: запускают тест, разделив аудиторию 50 на 50. Половине показывают красную кнопку, половине - зеленую. Если в результате оказывается, что пользователи чаще кликают на вторую, то принимаем решение убрать красную, оставляем только зеленую. Таким образом, мы предпринимаем только оправданные действия и постоянно улучшаем продукт.
Стоит учитывать, что на данном этапе нельзя просто доверять большему значению. Продуктовые аналитики применяют показатель статистической значимости. К примеру, что будет лучше в случае неравномерной разбивки трафика: выборка в 10 пользователей, из которых 2 сделали целевое действие, или выборка в 100 пользователей, из которых 10 сделали целевое? Если опираться только на относительные показатели, то будет ясно, что первая выборка 2/10 лучше. Но на самом деле на текущем этапе нельзя делать выводы, так как конверсия в целевое действие в 20% может быть случайностью.
На больших выборках получаем результаты с большим уровнем статистической значимости. Нормой для принятия решения считается уровень этого показателя > 95%
Один из важнейших показателей для продуктового направления - возврат пользователя. Конечно, можно и нужно масштабировать трафик, привлекать новых покупателей. Но зачастую больший уровень окупаемости приносят усилия, направленные на то, чтобы удержать прежних клиентов и воодушевить их еще раз воспользоваться вашим сервисом. И тут также на помощь приходит анализ больших данных.
Однажды передо мной как перед руководителем отдела возврата пользователей стояла задача снизить спам-рейт почтовой рассылки. На входе у меня была доставляемость на уровне 80%, спам-рейт - 12-15%. Такой спам-рейт считается чересчур высоким. В результате работы удалось его снизить до 5%, потом стабилизировать на уровне 7% - практически в 2 раза. Чтобы добиться таких показателей, я разобрался в каждой метрике, запускал и тестировал воронки, отключал определенные письма.
Интересный и работающий подход - переливка пользователей внутри собственной экосистемы продуктов. В таком случае пользователя переманивают с одного продукта компании на другой - к примеру, с контент-проекта о политических новостях на ресурс, посвященный интересным фактам о путешествиях. Подобные манипуляции проводят в тот момент, когда пользователь теряет интерес к первому проекту, и вероятность вернуть его на текущий ресурс близка к нулю. Для этого используют RFM-модель возврата пользователя: опираясь на данные возврата и трат денег, а также частоту трат пользователя, применяют ту или иную логику взаимодействия.
Если пользователь давно не возвращался на продукт, некоторые компании готовы «инвестировать» в него: понести убытки сейчас, чтобы добиться лояльности клиента в будущем, переместив его в более высокий сегмент. Чем выше сегмент, тем выше инвестиция в пользователя для его возврата - начиная от простой скидки и заканчивая материальным подарком.
Стратегия действий на основе RFM-анализа (расшифровывается как recency, frequency, monetary)
Основные задачи
Обязанности продуктового аналитика могут отличаться в зависимости от того, на каком этапе находится продукт. К примеру, если вы только пришли на проект, первой задачей может быть построение репортинга - прежде всего, для себя. Важно понять, откуда берутся данные, как они движутся, как воспринимать ту или иную метрику. Дальше можно строить планы действий, думать, как улучшать показатели.
Исследование. На текущей работе мне доверили создавать продукт с нуля. Моя первая задача заключалась в том, чтобы исследовать рынок, проанализировать конкурентов, решить, на какой рынок выходить в первую очередь. К примеру, стоимость пользователя в Штатах безумно дорогая, а потому для запуска первой версии продукта лучше обратить внимание на страны СНГ, Латинскую Америку, Индию. Трафик в этих странах дешевле, и они больше подходят, чтобы протестировать бета-версию, посмотреть, как она зайдет, куда будут кликать пользователи. Первая версия строится на предположениях и на анализе конкурентов: мы предполагаем, какой функционал будет нужен, а какой нет. Но после тестирования можно от догадок переходить к конкретным показателям.
Стратегия. После исследования рынка приходит время выстраивать стратегию развития продукта на год-полтора, описать формирование экосистемы, оценить временные затраты на каждый этап разработки. На данном этапе очень важно правильно спроектировать архитектуру данных. Во время разработки стратегии случается очень много итераций, коммуникаций со всеми - разработчиками, дизайнерами, рекрутерами, маркетологами. Иногда привлекают и сторонних консультантов, чтобы определить, что можно использовать, а что нет согласно политикам партнеров, через которых будем продвигать продукт.
Почему важно строить стратегию на такой длительный срок, а нельзя обойтись несколькими ближайшими месяцами? Прежде всего, это необходимо для выбора технологий разработки. В зависимости от функционала, который предполагается интегрировать на будущих этапах, выбирается платформа и технологический стек. К примеру, сейчас вам кажется подходящим вариантом использовать React Native для создания мобильного приложения, но если это приложение будет тянуть слишком много графических ресурсов, то через полтора года вы просто упретесь в потолок и окажетесь заложниками ситуации. То же самое с базами данных. MySQL - open source и удобное решение. Но если вы планируете хранить данные действий сотен тысяч пользователей, строить нейронные сети, то через 3-4 месяца придется все переделывать с нуля. А потому лучше все продумывать заранее и сразу предусмотреть, до каких масштабов будет разрастаться ваша аудитория.
Спецификация и схема данных. На начальном этапе жизненного цикла продукта продуктовый аналитик разрабатывает документ, который содержит базовое описание экосистемы продукта: что будет доступно на сайте или в мобильном приложении.
Спецификация также включает описание схемы данных: продуктовый аналитик выступает инициатором в ее построении. Он может самостоятельно спроектировать схему данных или же выступить в роли заказчика отделу аналитики. Необходимо продумать, какие метрики будут нужны, чтобы развивать продукт, что именно нужно трекать, какие действия пользователей изучать. К примеру, можно запланировать логирование переходов на определенную страницу, чтобы понимать, стоит ли ее оставлять в будущем или же будет лучше заменить ее на что-то другое. В данном случае аналитик - это глаза продукта.
Работа с командой. Написав первичную спецификацию, продуктовый аналитик передает ее бизнес/системному-аналитику, который трансформирует документ в более конкретные спецификации для девелопмента. Весь жизненный цикл продукта завязан на сотрудничестве специалистов разных профилей. После того, как приняты стратегия и спецификация продукта, нужно привлекать к работе дизайнеров, верстальщиков, разработчиков, тестировщиков.
Как бы детально не была расписана спецификация, члены команды будут задавать вопросы, а потому нужно быть готовым к постоянным коммуникациям.
Улучшение продукта. После первого релиза приходит очередь постоянной работы над тем, как улучшить продукт. A/B-тестирование, построение отчетности, аналитика - и становится понятно, что именно следует изменить или доработать. С первого раза хороший продукт не получится:) Сначала выпускают сервис с базовым функционалом, затем дорабатывают core-фичи и добавляют новые. К примеру, что первично для сайта знакомств? Анкеты, чат. И только потом приходит очередь дополнительных сервисов - системы виртуальных/реальных подарков и т. д. На вопрос, что и в каком порядке реализовывать, отвечает продуктовый аналитик.
Решения по улучшению продукта принимаются на основании «выхлопа» от нового функционала и потраченного на его реализацию времени. Можно применить показатель ROI - отношение ожидаемого прироста выручки к затраченному времени разработки. Сервис с наивысшим показателем имплементируется в первую очередь.
На этапе интегрирования нового функционала важно правильно оценить время. Помимо реализации непосредственно функционала нужно потратить определенное количество часов на создание инфраструктуры информирования пользователя (письма, баннеры на сайте), расстановку очередности и сроков запуска частей экосистемы. К примеру, будет неправильно проинформировать пользователя о новом функционале в письме через месяц после его запуска.
Главное - заранее видеть путь, куда вы идете: что будет интегрироваться на каждой фазе разработки. Вместе с тем, постоянные тесты корректируют первоначальный план: может, какое-то поведение пользователей на фазе № 2 просто отменит запуск фазы № 7.
Рабочие инструменты
Я работаю с Tableau - это инструмент анализа и визуализации данных. Он удобен для построения статистической отчетности - например, чтобы посмотреть, какой возврат имеем сегодня, как окупается маркетинг. Сервис позволяет строить воронки конверсии пользователей в определенные этапы: лендинг → регистрация → подписка на триальную версию → оплата → повторная оплата и т. д. Все показатели воронки относительные.
Для более глубокого анализа пользуюсь Python. Он способен обрабатывать очень большие данные - миллиарды строк и выше. Excel с таким объемом не справляется. Также с помощью Python можно строить различные модели, проводить кластеризацию под определенные параметры, имитировать поведение пользователей для тестирования скорости работы сервисов. В общем случае знание программирования для продуктового аналитика не обязательно, это просто мое хобби.
Для ресерча иногда использую SimilarWeb - этот сервис предоставляет небольшой срез по аудитории, который экстраполируется на всю выборку. Инструмент позволяет посмотреть, где в данный момент активны конкуренты, куда они сейчас пытаются выйти, каким объемом аудитории располагают. Эта информация помогает задать собственный вектор развития.
Портрет хорошего аналитика
Системность. Раньше я любил бросаться в задачи, но потом понял, что каждой идее требуется время, чтобы оконательно созреть. Не надо бежать с факелом: «Вот, я придумал». Продумайте все плюсы и минусы этой идеи, сформируйте системную работу. Хорошая практика - спланировать задачи на неделю вперед, записать в блокноте и постепенно их выполнять, не бросаясь с одной на другую.
Внимание к деталям. Вы должны быть на «ты» с данными, понимать, какие показатели откуда берутся. Это позволит не допускать ошибок или максимально быстро их выявлять. К примеру, мне однажды удалось по источникам трафика найти читера на нашем продукте: обнаружил, что 90% регистраций шли с одного IP-адреса. Оказалось, что наши партнеры нас обманывали. Внимание к деталям позволило на второй день идентифицировать сбой в системе, что сохранило в перспективе десятки тысяч долларов компании.
Стратегическое мышление. Нужно уметь смотреть на весь проект «с высоты». Лично мне добиться этого помогла аналитика и компьютерные науки.
Каждый сплит и принятое решение прежде всего должно нести ценность и выгоду для бизнеса. В то же время нельзя зацикливаться на одном узком функционале. Нужно понимать, что если сейчас вы не реализовываете сложную и умную систему, то только затем, чтобы в кратчайшие сроки запустить более простую версию продукта и собрать данные о реакциях пользователей, корректируя дальнейший курс. Это намного рациональнее, чем год создавать сложную систему без «боевого крещения».
Хорошие коммуникационные способности. Каждую идею нужно «продать» как пользователю, так и своей команде.
Сдержанность. Иногда приходится уступать, ведь ваша точка зрения не всегда будет самой оптимальной.
Открытость. Никогда не думайте, что вы знаете пользователей. Они совершенно другие!
Карьерные пути
Как правило, продуктовые аналитики есть во всех продуктовых компаниях. В аутсорсинге эта позиция встречается редко: продакт чаще всего представлен на стороне заказчика. На стороне исполнителя это будет бизнес-аналитик, работающий с требованиями.
Продуктовые аналитики растут из аналитиков, маркетологов, специалистов по закупке трафика, менеджеров. Желательно иметь базовые знания математики и статистики, уметь работать с аналитическими инструментами. Будет плюсом знание SQL.
Профессия продуктового аналитика открыта для всех, кого привлекает возможность создать продукт, вылепить из глины то, что вам хочется, и самое главное, чего требует в этот момент рынок.
Из интересных ресурсов я могу посоветовать:
- PythonProgramming.net - отличный бесплатный ресурс, где затрагивают актуальные темы машинного обучения, статистики и базовой работы с Python.
- Канал дейтинга Badoo - тут можно найти интересные лекции по продуктовой и почтовой аналитике, в частности Андрея Саса.
- ФКН ВШЭ - школа компьютерных наук «Яндекса».
Из оффлайн: Genesis IT school - хорошая площадка для старта, где можно узнать о всех гранях большого бизнеса. Я там делаю доклады по возврату пользователей и почтовой рассылке.
Когортный анализ — это очень эффективный инструмент продуктовой и маркетинговой аналитики. К сожалению, о нем немногие знают, а те кто знают, крайне редко его используют.
Из статьи вы узнаете:
- в чем состоит суть когортного анализа
- чем метрики роста отличаются от метрик продукта
- почему попытки построить продуктовую аналитику, основываясь на метриках роста, заканчиваются плачевно
- как я использую когортный анализ в маркетинге и в продуктовой аналитике
- за какими метриками продукта необходимо следить и почему
Когортный анализ в маркетинге и продуктовой аналитике
Давайте попробуем сравнить два автомобиля и узнать, какой из них лучше?
- Первый проехал 2000 км, а второй 12000 км
- Первым автомобилем сейчас пользуются 5 раз в неделю, а вторым 4 раза в неделю.
- Первый автомобиль в последний месяц в среднем проезжал 10км, к второй 20км.
- В данный конкретный момент первый автомобиль едет на скорости 100 км/ч, а второй автомобиль едет на срокости 70км/ч
К сожалению, на основе имеющейся информации невозможно ответить на поставленный вопрос. Но почему-то как только доходит до интернет проектов или мобильных приложений, то все начинают следить за метриками вроде DAU, MAU, доход, общее количество регистраций и пытаться на основе них делать выводы о продукте, влиянии изменений и эффективности маркетинговых активностей.
Перечисленные выше метрики являются метриками роста . За ними полезно следить для общего понимания ситуации, но применительно к работе над продуктом подобные метрики бесполезны, так как на их основе невозможно принимать продуктовые решения, ровно как и оценивать влияние продуктовых изменений.
Когда вы работаете над продуктом, то вас должны интересовать, в первую очередь, его «объем» и «плотность», а не его «масса». «Масса» просто констатирует факт, не объясняя, откуда она взялась и как на нее повлиять. Вы же должны стремиться к тому, чтобы разложить ключевые метрики на составляющие, декомпозировать их, определяя рычаги воздействия на них. Основной задачей при работе над продуктом является определение рычагов воздействия и поиск способов влияния на них.
В этой деятельности вам не обойтись без аналитики. Аналитика является обратной связью на ваши действия, вашими глазами в продуктовом мире. Сначала аналитика позволяет вам понять, где вы находитесь, что за продукт вы сделали, как им пользуются в реальном мире, а затем позволяет увидеть то, как ваши действия, вносимые изменения влияют на ваш продукт. Аналитикой на картинке ниже я называю этапы: Measure, Data, Learn.
Одним из наиболее эффективных инструментов продуктовой аналитики является . Именно о нем сегодня пойдет речь.
Почему метрики роста бессмысленны для аналитики продукта
Давайте рассмотрим следующую модельную ситуацию. Есть продукт, который обладает следующими характеристикам:
- стоимость привлечения пользователя составляет 1$
- средний доход с одного пользователя составляет 2$ в течение следующих 4 месяцев
- 30% новых пользователей продолжают пользоваться продуктом спустя месяц (далее доля постепенно снижается до 15%)
- Команда продвижения привлечет 10 тыс. новых пользователей в первый месяц после запуска, 15 тыс. во второй, 20 тыс. в третий и так далее
- Продакт менеджер, который отвечает за развитие продукта, вносит в него изменения каждый месяц. Изменения неудачные, поэтому после каждого из изменений доход с пользователя падает на 0,1$, а доля пользователей, продолжающих использовать продукт падает на 2%.
В компании, где разрабатывается этот продукт, принято следить за месячной аудиторией (MAU или Monthly Active Users) и прибылью каждого из проектов. На основе этих метрик выставляются kpi и оцениваются успехи команды, работающей над продуктом.
Следя за выбранными метриками, спустя первые 9 месяцев руководство было очень довольно результатами нового продукта, в том числе и успехами продакт менеджера. Но вспомните — наш продакт менеджер каждый месяц портит продукт! При этом метрики роста уверенно идут вверх.
Ниже приведены те же самые графики, но уже за 16 месяцев. На этих графиках мы, наконец, видим первые признаки неудачных изменений продукта. Но лишь спустя 12 месяцев!
Дело в том, что на метрики роста влияют две составляющие: продукт и продвижение. Следя за метриками роста, вы не можете просто отделить эти два фактора. Именно по этой причине метрики роста совершенно не подходят для продуктовой аналитики.
При правильно построенной аналитике мы бы увидели неудачное влияние обновлений продукта еще в первые недели / месяцы.
Суть когортного анализа
В каждый конкретный день аудитория вашего продукта представляют из себя смесь тех, кто начал использовать ваш сервис сегодня, вчера, месяц назад и так далее. Следить за этой неоднородной массой и пытаться делать выводы – крайне неблагодарное занятие.
Идея когортного анализа состоит в том, чтобы резделить пользоватей на группы по определенным признакам, и отслеживать поведение этих групп во времени.
Обычно группы пользователей (когорты) выделяют на основе недели (месяца), когда пользователи пришли в приложение. Выделив такие группы пользователей (когорты), вы следите за ними в течение времени и измеряете ключевые метрики для каждой отдельной когорты. Таким образом, сравнивая показатели мартовской и майской когорт пользователей, вы можете объективно сравнивать соответствующие этим периодам времени версии продукта.
Для более глубокой аналитики выделенные когорты необходимо дополнительно сегментировать на основе источника трафика, платформы, страны и других факторов, которые имеют смысл в вашем конкретном продукте.
Скорее всего, значения ваших ключевых метрик будут отличаться для разных сегментов, ровно как и разные продуктовые изменения будут по-разному влиять на разные сегменты пользователей.
Ключевые метрики продукта — LTV и CAC
Две ключевые метрики, которые в конечном итоге определяют финансовую успешность вашего продукта — это LTV (Life Time Value) и CAC (Customer Acquisition Cost).
LTV — деньги, которые средний пользователь тратит в вашем мобильном приложении за все время его использования. CAC — ваши затраты на привлечение среднего пользователя.
Почему эти две метрики так важны для вашего продукта и как они влияют на ваши бизнес показатели вы можете прочитать в материале и в материале или . В рамках же этой статьи важность этих метрик будет принята по умолчанию, а более подробно будет освещены способы работы с этими метриками.
Я не буду подробно останавливаться на вопросе измерения и работы с CAC, так как это не ключевая компетенция классического продакт менеджера. Намного больший интерес представляет LTV — это как раз ключевая компетенция любого ответственного за продукт.
LTV — это ключевая метрика, отражающая ценность (пользу) вашего продукта для ваших пользователей и клиентов . Именно эта метрика должна стоять во главе угла при работе над продуктом.
LTV — замечательная метрика, но у нее есть один минус — она высокоуровневая. Чтобы понимать, как на нее воздействовать, вам необходимо ее декомпозировать на более простые и приземленные на продукт метрики.
Декомпозиция LTV на метрики продукта
Обычно метрики привязываются к ключевым точкам жизненного цикла пользователя в приложении. Тем самым мы создаем возможность отслеживать успешность продвижения пользователей в приложении и находить узкие места, требующие нашего внимания.
Я обычно отслеживаю путь пользователя в продукте с точки зрения его вовлеченности и монетизации.
Вовлеченность описывается следующими этапами в жизненном цикле пользователя:
- активация в приложении
- залипание в приложении (или активность использования)
- (сколько пользователей продолжают использовать продукт спустя месяц, два месяца и так далее после регистрации)
Монетизация же описывается следующей последовательностью этапов жизненного цикла пользователя:
- активация в приложении
- увидел продающий экран
- совершил 1 покупку
- совершил 2 покупку
Ниже я привел метрики, соответствующие каждому из этапов жизненного цикла пользователя в продукте (метрики могут отличаться для разных продуктов):
- Активация в приложении (% тех, кто прошел туториал или совершил ключевое целевое действие в приложении, например, зарегистрировался и добавил первых друзей)
- Залипание в приложении (% пользователей, который дошли до N уровня или, например, добавили N друзей: число N определяется экспериментальным путем)
- Пользователь увидел предложение о покупке (% пользователей, которые увидели предложение о покупке)
- Пользователь совершил первую покупку (% покупающих что-либо в приложении, средняя сумма первой покупки)
- Пользователь совершил повторную покупку (% совершивших повторную покупку, средняя сумма повторной покупки, среднее количество повторных покупок)
- (% пользователей, которые используют приложение спустя месяц/два/три/четыре после регистрации)
Все этим метрики влияют в конечном итоге на LTV. В каждом из продуктов могут быть свои особенности, но для большинства подобные базовые этапы/метрики подойдут.
Метрики продукта и как они влияют на LTV
Давайте подробнее рассмотрим описанные выше метрики продукта и то, как они влияют на LTV, на примере абстрактной игры.
Активация в приложении
В любой игре пользователя сначала обучают, проводя его через туториал. Те, кто не прошли туториал, скорее всего, не будут дальше играть и тем более платить. Именно поэтому для нас критично отслеживать долю пользователей, успешно прошедших этот этап.
Также полезно отслеживать долю тех, кто смог выполнить ряд целевых действий по окончании туториала (то есть обучился и теперь может самостоятельно играть). Такая метрика будет отражать насколько качественно спроектирован процесс обучения.
Пользователь «залип» в приложении
Пользователь, скорее всего, не будет платить, если он не увлекся игрой. Именно поэтому нам надо отслеживать долю тех, кто залип в приложении. С этой целью мы измеряем долю тех, кто прошел до N уровня или тех, кто заходил в приложении более 5 раз в течение недели с момента установки.
Обычно метрику для факта залипания определяют опытным путем. В этой статье есть примеры подобных метрик для ряда популярных сервисов.
Пользователь увидел предложение о покупке, сделал первую покупку
Одной из наших целей является получение дохода, поэтому нам надо стимулировать первую покупку в приложении. Но покупка совершается с определенного экрана нашего приложения (например, с экрана магазина), поэтому необходимо отслеживать долю пользователей, которые увидели этот экран.
Если экран о продаже видят 10% приходящих пользователей, то это автоматически ограничивает сверху долю пользователей, которые могут сделать первую покупку в нашей игре.
Повторные покупки
Первая покупка — это хорошо, но финансово успешные продукты обычно отличаются высокой долей повторных покупок. Часто первая покупка — это определенный кредит доверия пользователя приложению — если он удовлетворен результатом и полученной пользой, то, скорее всего, он совершит и повторную покупку. Поэтому еще одной важной метрикой становится, доля пользователей, совершающих повторные покупки, а также среднее количество повторных покупок.
Retention
Для того, чтобы пользователи имели шанс совершить несколько покупок — они должны продолжать играть в нашу игру в течение длительного времени, а не бросать ее спустя день. Для отслеживания этого явления мы будем измерять retention.
Построение продуктовой аналитики и пример использования когортного анализа
Самым простым в реализации вариантом построения аналитики продукта будет создание воронок на каждое из описанных выше событий. В большинстве случаев у вас получатся воронка монетизации и воронка вовлеченности пользователей.
Далее необходимо будет сравнивать показатели вашего продукта для когорт пользователей, сформированных на основе недели, когда они пришли в приложение. Для такой аналитики идеально подходят инструменты Mixpanel и Localytics.
Я здесь рассмотрю более сложный, но и более продуктивный подход — использование когортного анализа для продуктовой аналитики. Использование когортного анализа углубит ваше понимание продукта и того, как ваши пользователи используют его во времени.
Будем формировать когорты пользователей на основе недели, когда они пришли в приложение. Для простоты в примере рассмотрены только следующие метрики: CAC, LTV, Ratention, % совершивших первую покупку, % совершивших повторную покупку. Также для простоты когорты не сегментировались ни по каким дополнительным признакам.
Приступим. Ниже приведена таблица когортного анализа рассматриваемого продукта (можете считать, что это игра или туристическое приложение). Ознакомьтесь с таблицей.
В первую неделю в первую версию нашего приложения пришло 3000 пользователей. На конец «0 недели» 25% из них прошли туториал, но еще никто не заплатил. К концу 1 недели еще 5% прошли туториал (то есть всего уже 30%), при этом 1,2% совершили первую покупку. К концу 2 недели туториал прошли 34% из рассматриваемой когорты, а первую покупку совершили 1,4%.
Спустя неделю мы выпустили новую версию приложения, где изменили туториал. Как мы видим из таблицы когортного анализа — это сработало! К концу 4 недели уже 47% прошли туториал (ранее лишь 34%). Расширение воронки монетизации на уровне туториала увеличило и долю тех, кто совершил покупку. К сожалению, наши пользователи не совершают повторные покупки, что не позволяет выйти на операционную безубыточность продукта, даже несмотря на то, что команда продвижения смогла существенно снизить CAC (пусть и сократив приток новых пользователей). Тратим на привлечение мы 0,8$, а зарабатываем лишь 0,5$ со среднего пользователя спустя 8 недель.
В третьей версии приложения мы доработали туториал и добавили новые покупки в приложение, увеличив разнообразие. Это позволило нам увеличить долю повторных покупок и сравнять LTV с CAC.
Примерно так когортный анализ позволяет нам понимать свой продукт, а также то, какие улучшения работают, а какие нет.
В заключении
Самый сложный этап в работе над продуктом возникает тогда, когда первые значения метрик для вашего продукта получены и встают вопросы:
- Полученные значения метрик — это хорошо или плохо?
- Над какой метрикой следует работать в следующей версии приложения в первую очередь?
- Как приоритезировать гипотезы, придуманные для улучшения метрики?
Об этих вопросах я напишу в другой статье. Если вы хотите не пропускать новые материалы, то .
Основные идеи статьи
- метрики роста не подходят для построения аналитики продукта, так как на них влияет не только продукт, но и маркетинг/продвижение
- две ключевые метрики продукта — LTV и CAC
- LTV — высокоуровневая метрика, поэтому ее следует декомпозировать на метрики продукта, привязанные к ключевым этапам жизненного цикла пользователя в приложении
- суть когортного анализа состоит в том, чтобы отслеживать ключевые метрики каждой отдельной когорты во времени
- когортный анализ позволяет объективно сравнивать разные версии продукта и оценивать влияние изменений на продукт
P.S. Если вы хотите научиться управлять продуктом на основе аналитики и данных, то (новый образовательный продукт от Go Practice) вам в этом поможет.