You can also read this article in English.
devtodev представляет вашему вниманию новый раздел Versions. С помощью него можно комплексно изучать, насколько новые версии проекта лучше старых, и таким образом, постоянно работать над совершенствованием продукта.
Прежде чем мы объясним, как это работает, давайте обсудим, какие изменения обычно отличают одну версию от другой:
- Изменения в туториале и в процессе активации (onboarding). Вы стараетесь сделать их более понятными и увлекательными, чтобы пользователь, поняв основы игры, захотел играть в неё дальше.
- Изменения в удержании. Вы выкатываете новые игровые циклы, новый контент, новые крючки, удерживающие пользователя в игре. Это касается как краткосрочного, так и долгосрочного удержания.
- Изменения в монетизации. Здесь может быть что угодно: от того же нового контента до новых цен и иного порядка цен на сундуки.
Таким образом, говоря о наборе метрик, можно выделить следующие:
- метрики туториала: сколько пользователей начало туториал, какая доля прошла его до конца / пропустила / остановилась в своём прогрессе прямо посреди туториала;
- метрики удержания: retention первого, седьмого и других дней;
- метрики монетизации: сколько денег приносят пользователи каждой из версий за свои первые два, три, пять дней в проекте.
Что ещё важно при выходе новой версии?
Важно понять, что она работает без ошибок. И очень важно знать, как приходят в неё новые пользователи и как обновляются старые.
Приняв всё это во внимание, мы и сделали раздел Versions.
Раздел состоит из пяти отчётов. Давайте рассмотрим каждый из них подробнее.
Отчёт Realtime Structure предназначен для оперативного мониторинга при выходе новой версии. Данные в отчёте обновляются каждый час, и вы можете быстро обнаружить проблему.
Отчёт показывает структуру пользователей в разрезе версий за последние 48 часов, отдельно выделяя новых пользователей и тех, кто обновился со старой версии.
Вы сами выбираете, какие метрики хотите отобразить на графике, из списка:
- новые пользователи;
- пользователи, начавшие туториал;
- пользователи, не начавшие туториал;
- пользователи, пропустившие туториал;
- пользователи закончившие туториал;
- пользователи, не закончившие туториал;
- время прохождения туториала (мы показываем медиану по всем пользователям).
На отчёте данные по всем версиям приведены к одной точке, таким образом, вы сравниваете по разным версиям показатели прохождения туториала за первый, второй дни с момента выхода версии, и так далее.
Также мы показываем воронку прохождения туториала, и вы можете отследить его прохождение в разрезе версий не только в динамике по дням, но и за всё время сразу.
Схожим образом работает и отчёт Retention.
Вы выбираете, показатели какого дня (или каких дней) отобразить на графике, а devtodev показывает, как меняются эти показатели в разрезе версий. И вновь данные по всем версиям приведены к одной точке, таким образом, вы сравниваете удержание за первый, второй дни с момента выхода версии, и так далее.
На рассмотренном выше примере с момента выхода последней (1.8.0) версии прошло три недели, поэтому окно отчёта сдвинуто вправо. В предыдущих версиях пользователи приходили лишь спустя две недели с момента запуска версии, поэтому красный и зелёный графики начинаются не сразу.
Если же сравнивать показатель 1-day retention в разрезе версий, то видим, что удержание в версии 1.8.0 точно лучше, чем в версии 1.7.0, и точно не лучше, чем в версии 1.7.1.
Отчёт N-day Revenue показывает накопительный доход с одного пользователя в конкретной версии.
Вы видите график, сколько денег приходит в среднем с одного пользователя за первый день, первые два дня, первые три дня, ... , первые четырнадцать дней в версии. Так можно быстро определять монетизационный потенциал версии и сравнивать их друг с другом.
В частности, на рассмотренном выше графике вы видите, что пользователи версии 7.1.2 стартуют с места в карьер и сразу же начинают платить в среднем больше, чем пользователи предыдущей (7.1.1) версии.
А версия 7.1.0 вообще денег не приносила, по крайней мере за первые 14 дней с момента регистрации ни один её пользователь не сделал ни одного платежа.
И наконец отчёт Audience показывает структуру вашей аудитории по версиям за последние две недели.
Глядя на этот отчёт, можно понять, как пользователи перетекают из одной версии в другую, какие версии выходили за последнее время, и сколько игроков ими пользовались.
Рассмотрим, как использовать отчета на реальном кейсе.
Допустим, вы решили изменить стартовую страницу в своём продукте. Вы решили заменить цвет кнопки “Регистрация”, поэкспериментировать с шрифтами и фоновой картинкой. За основную метрику вы берёте удержание первого дня.
Выбрав нужный цвет, вы ищете новый шрифт, затем, определившись со шрифтом, ставите оптимальную, на ваш взгляд, картинку.
А теперь давайте сравним последнюю версию с исходной. Не удивлюсь, что она в итоге может оказаться даже хуже, чем та версия, с которой вы начинали изменения.
Почему так может случиться?
Во-первых, проверяли ли вы статистическую значимость? Никогда не стоит забывать о ней.
Во-вторых, не исключено, что вы просто неверно трактовали имеющиеся у вас данные и выдавали желаемое за действительное.
Кстати, можете прочесть статью о когнитивных искажениях в аналитике. Провериться, так сказать.
И в-третьих, взяв за основу лишь 1-day retention, вы забыли и о тех метриках, которые ему предшествуют (успешность прохождения туториала), и о тех, которые после него следуют ( монетизационные метрики).
Раздел Versions в devtodev позволяет сравнивать версии комплексно, таким образом, вы видите отличия между ними на всех этапах, и можете лучше и быстрее принимать решения о том, действительно ли новая версия лучше старой, и насколько.
Остается пожелать, чтобы ваш продукт развивался, и каждая новая версия была лучше предыдущей по всем фронтам.
Раздел Versions также доступен в нашем бесплатном демо.
