От версии к версии: как понять, что вы делаете игру лучше
С помощью раздела Versions можно комплексно изучать, насколько новые версии проекта лучше старых, и таким образом, постоянно работать над совершенствованием продукта
Published
19.04.2017
|
devtodev

You can also read this article in English.

devtodev представляет вашему вниманию новый раздел Versions. С помощью него можно комплексно изучать, насколько новые версии проекта лучше старых, и таким образом, постоянно работать над совершенствованием продукта.

devtodev представляет вашему вниманию новый раздел Versions.

Прежде чем мы объясним, как это работает, давайте обсудим, какие изменения обычно отличают одну версию от другой:

  • Изменения в туториале и в процессе активации (onboarding). Вы стараетесь сделать их более понятными и увлекательными, чтобы пользователь, поняв основы игры, захотел играть в неё дальше.
  • Изменения в удержании. Вы выкатываете новые игровые циклы, новый контент, новые крючки, удерживающие пользователя в игре. Это касается как краткосрочного, так и долгосрочного удержания.
  • Изменения в монетизации. Здесь может быть что угодно: от того же нового контента до новых цен и иного порядка цен на сундуки.

Таким образом, говоря о наборе метрик, можно выделить следующие:

  • метрики туториала: сколько пользователей начало туториал, какая доля прошла его до конца / пропустила / остановилась в своём прогрессе прямо посреди туториала;
  • метрики удержания: retention первого, седьмого и других дней;
  • метрики монетизации: сколько денег приносят пользователи каждой из версий за свои первые два, три, пять дней в проекте.

Что ещё важно при выходе новой версии?

Важно понять, что она работает без ошибок. И очень важно знать, как приходят в неё новые пользователи и как обновляются старые.

Приняв всё это во внимание, мы и сделали раздел Versions.

Раздел состоит из пяти отчётов. Давайте рассмотрим каждый из них подробнее.

Отчёт Realtime Structure предназначен для оперативного мониторинга при выходе новой версии. Данные в отчёте обновляются каждый час, и вы можете быстро обнаружить проблему.

Отчёт показывает структуру пользователей в разрезе версий за последние 48 часов, отдельно выделяя новых пользователей и тех, кто обновился со старой версии.

Отчёт показывает структуру пользователей в разрезе версий за последние 48 часов, отдельно выделяя новых пользователей и тех, кто обновился со старой версии.
Отчёт Realtime structure в devtodev показывает оперативные изменения в структуре аудитории по версиям
Отчёт Tutorial Completion показывает все метрики по прохождению туториала вашими пользователями.
Отчёт Tutorial completion в devtodev показывает все необходимые метрики прохождения обучающего этапа в динамике
Отчёт Tutorial completion в devtodev показывает все необходимые метрики прохождения обучающего этапа в динамике...
отчёт Tutorial completion в devtodev показывает все необходимые метрики прохождения обучающего этапа в статике
...и статике

Вы сами выбираете, какие метрики хотите отобразить на графике, из списка:

  • новые пользователи;
  • пользователи, начавшие туториал;
  • пользователи, не начавшие туториал;
  • пользователи, пропустившие туториал;
  • пользователи закончившие туториал;
  • пользователи, не закончившие туториал;
  • время прохождения туториала (мы показываем медиану по всем пользователям).

На отчёте данные по всем версиям приведены к одной точке, таким образом, вы сравниваете по разным версиям показатели прохождения туториала за первый, второй дни с момента выхода версии, и так далее.

Также мы показываем воронку прохождения туториала, и вы можете отследить его прохождение в разрезе версий не только в динамике по дням, но и за всё время сразу.

Схожим образом работает и отчёт Retention.

Отчёт Retention в devtodev позволяет сравнить показатели удержания в разрезе различных версий
Отчёт Retention в devtodev позволяет сравнить показатели удержания в разрезе различных версий

Вы выбираете, показатели какого дня (или каких дней) отобразить на графике, а devtodev показывает, как меняются эти показатели в разрезе версий. И вновь данные по всем версиям приведены к одной точке, таким образом, вы сравниваете удержание за первый, второй дни с момента выхода версии, и так далее.

На рассмотренном выше примере с момента выхода последней (1.8.0) версии прошло три недели, поэтому окно отчёта сдвинуто вправо. В предыдущих версиях пользователи приходили лишь спустя две недели с момента запуска версии, поэтому красный и зелёный графики начинаются не сразу.

Если же сравнивать показатель 1-day retention в разрезе версий, то видим, что удержание в версии 1.8.0 точно лучше, чем в версии 1.7.0, и точно не лучше, чем в версии 1.7.1.

Отчёт N-day Revenue показывает накопительный доход с одного пользователя в конкретной версии.

Отчёт N-day revenue показывает, сколько денег в среднем платят пользователи в разрезе версий за свои первые дни пребывания в проекте
Отчёт N-day Revenue показывает, сколько денег в среднем платят пользователи в разрезе версий за свои первые дни пребывания в проекте

Вы видите график, сколько денег приходит в среднем с одного пользователя за первый день, первые два дня, первые три дня, ... , первые четырнадцать дней в версии. Так можно быстро определять монетизационный потенциал версии и сравнивать их друг с другом.

В частности, на рассмотренном выше графике вы видите, что пользователи версии 7.1.2 стартуют с места в карьер и сразу же начинают платить в среднем больше, чем пользователи предыдущей (7.1.1) версии.

А версия 7.1.0 вообще денег не приносила, по крайней мере за первые 14 дней с момента регистрации ни один её пользователь не сделал ни одного платежа.

И наконец отчёт Audience показывает структуру вашей аудитории по версиям за последние две недели.

Отчёт Audience в devtodev показывает структуру аудитории по версиям и её изменение в динамике
Отчёт Audience в devtodev показывает структуру аудитории по версиям и её изменение в динамике

Глядя на этот отчёт, можно понять, как пользователи перетекают из одной версии в другую, какие версии выходили за последнее время, и сколько игроков ими пользовались.

Рассмотрим, как использовать отчета на реальном кейсе.
Допустим, вы решили изменить стартовую страницу в своём продукте. Вы решили заменить цвет кнопки “Регистрация”, поэкспериментировать с шрифтами и фоновой картинкой. За основную метрику вы берёте удержание первого дня.

Выбрав нужный цвет, вы ищете новый шрифт, затем, определившись со шрифтом, ставите оптимальную, на ваш взгляд, картинку.

А теперь давайте сравним последнюю версию с исходной. Не удивлюсь, что она в итоге может оказаться даже хуже, чем та версия, с которой вы начинали изменения.

Не исключено, что последняя версия может оказаться хуже первой
Не исключено, что последняя версия может оказаться хуже первой

Почему так может случиться?

Во-первых, проверяли ли вы статистическую значимость? Никогда не стоит забывать о ней.

Во-вторых, не исключено, что вы просто неверно трактовали имеющиеся у вас данные и выдавали желаемое за действительное.

Ошибиться в том, какая из версий лучше, очень легко (попробуйте сравнить высоту фигур на каждой из картинок)
Ошибиться в том, какая из версий лучше, очень легко (попробуйте сравнить высоту фигур на каждой из картинок)

Кстати, можете прочесть статью о когнитивных искажениях в аналитике. Провериться, так сказать.

И в-третьих, взяв за основу лишь 1-day retention, вы забыли и о тех метриках, которые ему предшествуют (успешность прохождения туториала), и о тех, которые после него следуют ( монетизационные метрики).

Раздел Versions в devtodev позволяет сравнивать версии комплексно, таким образом, вы видите отличия между ними на всех этапах, и можете лучше и быстрее принимать решения о том, действительно ли новая версия лучше старой, и насколько.

Остается пожелать, чтобы ваш продукт развивался, и каждая новая версия была лучше предыдущей по всем фронтам.

Пример "правильной" эволюции
Пример "правильной" эволюции

Раздел Versions также доступен в нашем бесплатном демо.

Read more

About devtodev

devtodev is a full-cycle analytics solution developed by games industry professionals specifically for game developers that helps you convert players into paying users, improve in-game economics, predict churn, revenue and customer lifetime value, as well as analyze and influence user behavior.