Как стать игровым аналитиком. Часть 1

Образовательный центр devtodev начинает публикацию статей, которые помогут новичкам в игровой индустрии стать настоящими профессионалами.

Первая статья серии посвящена нашей любимой теме - игровой аналитике с точки зрения игровых аналитиков. Аналитик devtodev Катя Нагорная пообщалась с тремя специалистами из геймдева, которые знакомы с темой не понаслышке и, более того, имеют за плечами годы опыта в игровой аналитике.

В первом диалоге участвовали руководители аналитических отделов, которые вполне готовы ответить за ARPU и померяться LTV:

• Василий Сабиров, далее в тексте именуется Васей, Lead Analyst в компании devtodev
• Георгий Стешенко, далее - Гоша, глава аналитики в компании Zimad
• Василий Синюрин, остался Василием, Chief Analytics Officer в компании Kefir.

В ходе беседы мы обсудили, кто такие игровые аналитики, какие у них задачи и какими инструментами они пользуются. Мы также выяснили, какое образование необходимо аналитикам, какие минимальные требования к ним при приеме на работу и что же делать аналитику с игрой.

ДАВАЙТЕ НАЧНЕМ С ПРОСТОГО: КТО ТАКОЙ ИГРОВОЙ АНАЛИТИК? 

Вася: Мне нравится такое определение современного художника: «современный художник — это тот, кого называют современным художником». В каком-то смысле игровой аналитик — в ту же степь. Игровой аналитик — это человек, который выполняет роль аналитика в игровом проекте.

Гоша: В узком смысле — это человек, который помогает владельцам игрового проекта принимать решения о развитии с использованием аналитической информации, помогает понять, где они находятся сейчас и правильно ли они движутся.

Василий: Если мне не изменяет память, то мой тезка (то есть Василий Сабиров) как-то проводил аналогию между игровым аналитиком и диагностом в медицине. На мой взгляд, это очень хорошее сравнение. Человек, который должен определить, что происходит и куда идти.

Гоша: Мне не очень нравится сравнение с диагностом.

ПОЧЕМУ?

Гоша: Потому что, исходя из моей практики, аналитика вряд ли вытянет «умирающий проект»; эффективнее всего аналитик сработает тогда, когда нужно сделать из хорошего проекта отличный. Я бы тогда уж сказал «тренер».

Василий: Смотря что значит «вытянет»: в моей практике есть случай, когда удалось вытянуть на стабильные рельсы продукт, у которого трафик не отбивался из-за не сведенной экономики игры. Так что тут весьма по-разному все может происходить. Опять же, это не означает, что проект стал хитом. Но он стал жить в стабильном плюсе. Аналитик должен работать в тесном зацепе с геймдизайнерами (привет вам) и продюсером проекта, тогда это вполне по силам.

Вася: Согласен с тем, что одной лишь аналитикой умирающий проект не вытянуть. Зато можно улучшить хороший проект, с этим я тоже согласен.  Диагност, вероятно, не лучший врач здесь: к нему ходят, когда плохо. В данном случае — такой семейный доктор, который всегда знает о вашем здоровье.

ДАВАЙТЕ НЕМНОГО ПРОЙДЕМСЯ ПО ЗАДАЧАМ, КОТОРЫЕ ВЫПОЛНЯЕТ ЭТОТ САМЫЙ ДИАГНОСТ (НУ ИЛИ СЕМЕЙНЫЙ ДОКТОР).

Вася: Аналитик, на мой взгляд, должен находить 1) узкие места проекта, и 2) точки его роста. В обоих пунктах подразумевается, что для этого должна быть сделана [опять она] диагностика, то есть аналитик должен в деталях понимать текущее состояние проекта во множестве разрезов.

А ЕСЛИ ПОПРОБОВАТЬ РАЗОБЩИТЬ ЭТИ ДВА ПУНКТА, УЙТИ В ДЕТАЛИ? АНАЛИТИКА ВНУТРИИГРОВАЯ, АНАЛИТИКА РЫНКА, АНАЛИТИКА КАНАЛОВ ТРАФИКА — ЭТО ВСЕ ДАННЫЕ, И КОНКРЕТИЗИРОВАТЬ ЗАДАЧИ ДЛЯ КАЖДОЙ ИЗ ВЕТВЕЙ.

Василий: Аналитика каналов трафика — это все-таки маркетинговая аналитика и она у нас живет в отделе маркетинга, и там все придумали еще до игр.

Вася: Это в Kefir, вы относительно большие. В маленьких компаниях эти функции часто склеены.

Гоша: Для меня внутриигровая аналитика, аналитика каналов трафика и биздев (аналитика) имеют слишком другие фреймворки. Их нужно понимать игровому аналитику, но работать чисто с игрой, иначе фокус сбивается. В Zimad задачи тоже расклеены, но на нас постоянно все равно падает  задача раскладывать KPI по каналам.

ВОТ, ЗДЕСЬ МЫ УЗНАЛИ, ЧТО ГОША СЧИТАЕТ, ЧТО НУЖНО РАБОТАТЬ ТОЛЬКО С ВНУТРИИГРОВЫМИ ПОКАЗАТЕЛЯМИ, В KEFIR ЕСТЬ МАРКЕТИНГОВЫЙ ОТДЕЛ, ГДЕ ВАСИЛИЮ ПРОАНАЛИЗИРУЮТ ТРАФИК, А ВАСЯ, СКОРЕЕ ВСЕГО, СОГЛАСИТСЯ, ЧТО АНАЛИТИК В МАЛЕНЬКОМ ПРОЕКТЕ БУДЕТ АНАЛИЗИРОВАТЬ ВСЕ, ЧТО ПОХОЖЕ НА ДАННЫЕ, ЕЩЕ И ТЕСТИРОВАТЬ ЗАОДНО.

Гоша: Тестировать — это вообще 80% времени аналитика, вы что!!! Я вообще хочу переименоваться в «Глава отдела послерелизного тестирования и внедрения SDK», потому что ничего никогда не работает как надо. А главное — это доверять данным. Я стараюсь двумя-тремя различными способами получить цифры, если исследование очень важное. Не говорю, что это правильно или хорошо (про тестирование). Наоборот.

Василий: В Kefir в этом плане скорее маркетологи должны понимать в продукте и консультироваться с нами (аналитиками) по мере необходимости. Понимать про каналы и трафик надо, но все расчеты эффективности и прочее — это маркетинговый отдел.

ДАВАЙТЕ ПОПРОБУЕМ НЕМНОГО ИНАЧЕ. ВЫ СОСТАВЛЯЕТЕ РЕЗЮМЕ И ОПИСЫВАЕТЕ В НЕМ ЗАДАЧИ, КОТОРЫЕ ВЫПОЛНЯЕТЕ В КАЧЕСТВЕ АНАЛИТИКА. РАССКАЖИТЕ О  НИХ.

Вася: Задачи аналитика в devtodev (и не только):

• мониторинг и расчёт метрик проекта (в широком смысле слова «метрики»);
• формирование гипотез по улучшению проекта;
• планирование экспериментов, их организация, подсчёт и трактовка результатов;
• и вообще, что-то типа формирования data driven культуры в компании.

Василий: Они разные (задачи).

Аналитик игровых обновлений/Геймдизайнер:

• безостановочный процесс анализа игры;
• поиск возможных проблем;
• наблюдение за воздействием обновлений на ключевые метрики игры и баланс;
• создание отчетов о результатах обновлений по имеющимся данным;
• предложение изменений на основе своих же отчетов.

Аналитик рынка игровых приложений:

• наблюдение за обновлениями крупных проектов через форумы, позиции в топах и т.д.;
• составление отчетов о результатах обновлений крупных студий на основе данных от App Annie и т.д.;
• поиск новых каналов информации о других проектах;
• аналитика игрового рынка.

Аналитик игровых обновлений/Геймдизайнер — это все-таки стык двух профессий, его основная задача — постоянный анализ проекта, нахождение мелких и средних проблемных мест и, вместо выдвижение гипотез о их улучшении, разработка дизайн-документа или хотя бы скетча обновления для последующей работы ГД.

Аналитик рынка игровых приложений — это постоянное зарывание в данные, которые предоставляет платный доступ в App Annie, нахождение интересных проектов/обновлений/фичеров, влияние событий из других индустрий (День «Звездных Войн») на проекты; поиск реакций во всевозможных reddit-сообществах на обновления интересных продуктов и т.п..

Еще есть просто позиция аналитика, куда набираются те, кто по каким-то причинам не прошел в описанные выше.

Гоша: Я вот из реальной вакансии задачи возьму:

• внедрять средства аналитики в игровые проекты;
• отслеживать ключевые метрики проектов;
• подтверждать или опровергать гипотезы команды поддержки проекта данными;
• проводить аналитические исследования, направленные на выявление слабых мест проекта, а также находить возможности для улучшения показателей;
• проводить A/B–тестирования;
• превращать данные о действиях игроков в конкретные рекомендации.

РАССКАЖИТЕ, ГДЕ ВЫ УЧИЛИСЬ И ЧТО ИЗ ПРОЙДЕННОГО ПОМОГЛО ВАМ СТАТЬ ИГРОВЫМИ АНАЛИТИКАМИ? И ГДЕ СЕЙЧАС УЧАТ ЮНЫЕ ДАРОВАНИЯ?

Гоша: Мне повезло учиться у уже знающих людей — я был в градуатской программе Innova.

А В УНИВЕРСИТЕТЫ НЕ ХОДИЛ?

Гоша: Не хотел хвастаться просто: учился на физика-экспериментатора в МФТИ. Работа в лаборатории в течении нескольких лет, конечно же, дает нужные навыки обработки и использования данных.

Вася: Я учился на Мехмате (магистратура), в Высшей Школе Экономики, ещё заканчивал переводчика (технический русский-английский). В какой-то мере всё это помогло (Мехмат, конечно, больше всего), но всё равно решает практика, а не образование. Мне повезло: на переходе из просто аналитика (банки — государственные учреждения) в игрового, я оказался в Xsolla. С одной стороны, это финансовая организация, сервис, с другой — одной ногой уже стоит в поле игровой индустрии, поэтому переход для меня прошел достаточно органично.

Для юных дарований: курс devtodev, Innova, да и часто аналитиком в компании становятся после маркетолога или геймдизайнера в той же компании.

Гоша: У Вышки наверняка есть хорошие магистратуры, если посмотреть. В Innova люди из Вышки вполне успешно применяли знания, полученные во время учебы, так что, я думаю, там все довольно актуально.

Василий: Сейчас мне будет слегка неловко, но учился я на технолога-машиностроителя в ВолгГТУ и устраивался в Kefir серверным программистом, и им работал около 2-х лет. Всегда увлекался игровой аналитикой и ее интеграцией в проект. В какой-то момент меня поставили главным по аналитике, и практика въехала в меня на полном ходу. Все теоретические знания пришлось тянуть по пути. Порой часто грущу без нормального математического образования.

Курсы devtodev и правда хороши, и я готов звать людей сразу на собеседование, ибо тестовое задание им уже ни к чему. При условии, что они прошли курс, конечно.

ТЕПЕРЬ БУДЕТ СЛОЖНЫЙ ВОПРОС, ИБО В ЧАТЕ ОН ВЫЗЫВАЕТ КУЧУ СПОРОВ: КАКИЕ МИНИМАЛЬНЫЕ ЗНАНИЯ ДОЛЖНЫ БЫТЬ У ЧЕЛОВЕКА (ПОКА ОН ЧЕЛОВЕК), ЧТОБЫ ПРЕТЕНДОВАТЬ НА ПОЗИЦИЮ JUNIOR ANALYST?

Гоша: Excel + логика, остальному научится.

Вася: Кстати, да, хорошая формула. Логика здесь (в моём понимании) — это не булевская, а именно простая человеческая логика, здравый смысл.

Василий: В последнее время у меня три критерия:

• курс devtodev (если не проходил, я даю вопросы и задачи примерно как там);
• понимание и любовь к играм (много играет, много знает, легко отделяет хотя бы жанры);
• не падает со стула (это очень важное требование).

Думаю над тем, чтобы ссылку на профиль Steam’a просить.

ТО ЕСТЬ КАЖДЫЙ ИЗ ВАС МОЖЕТЕ ВЗЯТЬ СЕБЕ ДЖУНА, ВЫ ГОТОВЫ УЧИТЬ?

Гоша: Я готов, но условия не позволяют. Вообще компании, которые сами не учат, со временем начнут жалеть, что так не делали (если доживут, конечно).

Василий: Я готов, чтобы он у меня учился, сидя в отделе. За ручку никто водить не будет и если человек не может решать неформулизованные задачи -  будет проблема.

Вася: Есть известный замкнутый круг: для принятия на работу нужны кейсы, для наличия кейсов нужен опыт работы. И взломать этот круг человек может базовыми знаниями и навыками, умноженными на мотивацию развиваться в этом рынке.

ВАСИЛИЙ, ТЫ ВОТ ПРО АККАУНТ STEAM ЗАГОВОРИЛ. А ЕСЛИ ЭТО ДЕВОЧКА, КОТОРАЯ ИГРАЕТ В MATCH3?

Василий: Ну это значит, что хотя бы травианы с match3 не спутает. Тут главное быть в теме игр.

Гоша: Я думаю, что человек, который не в теме игр, не захочет сам идти на позицию такую. Тут пока ни денег, ни славы (за редкими исключениями).

Василий: Модно стало, я уже много таких видел. Игровой опыт (не мобильный, к сожалению) очень легко доказать вот так (мне по крайне мере). И это уже повод рассмотреть кандидата поближе.

Вася: Кстати, помню, когда LoL нанимали аналитика, они сразу просили ссылку на профиль, притом не ниже 20 (или около того) уровня.

Гоша: У меня 500 часов в BF1. Надеюсь, однажды мне пригодится.

А МОЖЕТЕ РАССКАЗАТЬ ПРО ИНСТРУМЕНТАРИЙ, КОТОРЫЙ ИСПОЛЬЗУЕТЕ В РАБОТЕ (НЕ ОДНИМ EXCEL’ЕМ ЖИВЕМ ЖЕ)?

Вася: Мой ответ не очень релевантен здесь, мы сами себе инструмент: devtodev + Excel

Гоша: У нас в компании основные две лошадки: веб-аналитика от Infinario (они же Exponea) и сырые данные на ClickHouse, которые гоняем через Excel/Power BI/R/Python в зависимости от сложности запросов и навыков конкретного человека.

Василий: Python (PyCharm), Apache Hive (Hadoop+spark), ClickHouse, devtodev, App Annie, Google Docs (Spreadsheets), блокнотик, книги, игры.

У КАЖДОГО ИЗ ВАС БЫЛИ НЕДАВНО ВАКАНСИИ АНАЛИТИКОВ (А У КОГО-ТО И СЕЙЧАС ЕСТЬ). РАССКАЖИТЕ, КТО ПРИХОДИЛ, КАК ВЫ ОЦЕНИТЕ СРЕДНИЙ УРОВЕНЬ ВСЕХ, С КЕМ ОБЩАЛИСЬ? И, ЕСЛИ МОЖНО, ОТКУДА РЕБЯТА ПРИХОДЯТ И ПОЧЕМУ?

Гоша: Я не смотрю на резюме и не общаюсь, пока не вижу решений тестового задания. 80% выполняли «на отвали» и я даже резюме не читал, так что не знаю. Остальные были уже аналитиками в других компаниях с опытом.

Вот пара задач из нашего тестового:

1. Вы вернулись из отпуска и с удивлением узнали, что одна из проектных команд успела сделать клон игры Bubble Witch 3 Saga в сеттинге космического вестерна. Игра в Soft Launch уже 8 дней и каждый день в игру «нагоняли» 1000 человек. Через час встреча с советом директоров компании и от вас ждут отчета о перспективности данного проекта. Какие 10 вещей вы посмотрите в аналитике в первую очередь? (Допустим, что разработчик проекта случайно залогировал в аналитике все события в игре со всеми параметрами.)
2. Возьмем абстрактную match3-игру с уровнями и бустером «Бомба», который можно купить за 100 монет. Продюсер этой абстрактной игры считает, что награда за просмотр видеорекламы должна быть 10 монет, а геймдизайнер считает что 20. Рекламная сеть позволяет пользователю смотреть не более 5 рекламных роликов в день. Вам выпала честь организовать АB-тест их предложений. Как вы его проведете? По каким показателям будете оценивать результат?

Василий: Приходят из совершенно разных мест, прям вот совсем. Основная проблема, почему не взяли:

1. Ошибки в ТЗ на очень простых вопросах.
2. Не могут решать неформулизованные задачи.
3. Не могут дать развернутый ответ.

Вася: Ребята, которые уже работают в игровых компаниях, либо ребята, которые очень хотят туда попасть (а сами при этом либо студенты, либо специалисты в совершенно других отраслях, типа кредитования). Средний уровень (это субъективная характеристика) — нормальный (6/10). По Excel мы их, конечно, не гоняли (представляю, как я спрашивал бы про функцию СРЗНАЧЕСЛИ), но просили, например, пройти наш курс (это заодно и критерий мотивации, 16 лекций как-никак) и посоветовать, как улучшить игру (взяли почти случайную игру из стора).

Василий: Мое любимое — это неправильный ответ на вопрос: «Необходимо упорядочить эти величины по возрастанию: Day 1 Retention, Day 1 Rolling Retention, Day 7 Retention». Привет курсу devtodev. Вопрос про то, как улучшить игру, тоже есть, но там самому надо выбрать. Очень часто это калька из Интернета, что в общем-то характеризует уже лучше всяких вопросов.

Вася: Бывало, что мне моим же текстом отвечали на некоторые вопросы, до смешного доходило (до скриншотов из моих статей, например).

Забавный кейс из моей практики: устраивался когда-то в Танки Онлайн (устроился, всё ок) и нужно было проанализировать динамику показателя JAP. Я голову сломал, что это за показатель такой и Google едва не сломал. Нашёл, что у кого-то JAP называли долю  пользователей из Японии - там как раз был процентный показатель.

Ваши гипотезы, что это было на самом деле?

Гоша: Думаю, это  J… Active Players.

Василий: Ставлю на DAU.

У меня первая мысль мысль была про пользователей из Японии, но думаю, что не так все скучно.

Вася: В общем, Just Another Pokazatel’.

ЕСТЬ УСЛОВНАЯ ИГРА. ОНА УЖЕ ЖИВЕТ, ВНУТРИ ЕСТЬ ИГРОКИ. И ВДРУГ ИГРЕ ДАЮТ АНАЛИТИКА. ЧТО ЕМУ НУЖНО СДЕЛАТЬ В ПЕРВУЮ ОЧЕРЕДЬ, И КАК ВООБЩЕ БЫТЬ С ПРОЕКТОМ В ДАЛЬНЕЙШЕМ?

Гоша: У меня был такой кейс. Собственно, с нашей топовой игрой.

• Сначала опросил продюсера и геймдизайнера по поводу того, в чем, по их мнению, сильные и слабые стороны продукта. Провел ресерч и сразу вскрылось много интересного. Оказалось, что сильные стороны не такие уж и сильные, а слабые - не такие уж и слабые.
• У любого человека, знакомого с играми (а мы уже решили, что других не берем), будут свои мысли по поводу того, что не так в проекте. Их проверяем тоже.
• Дальше, в любом случае (если это не было сделано выше) надо смотреть экономику.
• Дальше смотреть  (если это не было сделано выше) onboarding во всех его проявлениях.

Уверен, что на этом этапе уже будет запас тестов и доработок на год вперед.

Василий: Самое быстрое — это подключить сторонний сервис и подождать, пока все старички прольются через новых. Начать выстраивать свою систему с кастомными треками. Анализировать.

Есть бесполезный пример. Был проект: топовый, без какой либо аналитики. Управлялся геймдизайнерами и продюсером «на чуйке». Долго и нудно (старый легаси код) внедряли аналитику. Все данные сошлись с чуйкой геймдизайнеров. Вывод: хорошо иметь чуйку.

Есть полезный пример, который я в самом начале описал. Нюанс его в том, что там три разные системы аналитики прошли и в итоге это привело к результату.

В идеале стартовать нужно «хоть с какой то» системой. Потому что, когда посреди продакшена вы захотите что-то внедрить, то вы устанете ждать, пока все игроки «просеются»и увидите нормальные цифры.

Вася: Я бы рекомендовал такой алгоритм:

1. Попроситься сесть рядом с продюсером; если/когда он откажет, вздохнуть и сесть в отдел геймдизайна.
2. Взять и посчитать все основные метрики проекта за как можно более долгий период (желательно, от основания).
3. Посмотреть на скачки в поведении этих метрик и разобраться в причинах; этот самый анализ в итоге и даст аналитику понимание того, как пользователи реагируют на игру, что им нужно, что им интересно, как они ведут себя в условиях изменяющегося проекта.
4. Где-то на этом этапе должны в голове начать рождаться гипотезы, как можно сделать этот проект лучше; эти гипотезы можно обкатывать на геймдизайнерах как раз.

Действительно, важно на всех этапах играть в эту игру самому, глубоко в неё погружаясь

Василий: Да, играть в игру — это, пожалуй, самое первое и самое главное. По крайней мере, на старте.

На этом прекрасном выводе (играйте в игры) мы и распрощались. Спасибо каждому из опрашиваемых, было познавательно.

Подписывайтесь на YouTube-канал нашего образовательного центра и добавляйтесь в нашу группу в Фейсбуке, чтобы всегда оставться в курсе наших последних новостей.

Регистрируйтесь на бесплатный онлайн-курс от devtodev и совершенствуйте свои знания в игровой аналитике.