Образовательный центр devtodev начинает публикацию статей, которые помогут новичкам в игровой индустрии стать настоящими профессионалами.
Первая статья серии посвящена нашей любимой теме - игровой аналитике с точки зрения игровых аналитиков. Аналитик devtodev Катя Нагорная пообщалась с тремя специалистами из геймдева, которые знакомы с темой не понаслышке и, более того, имеют за плечами годы опыта в игровой аналитике.
В первом диалоге участвовали руководители аналитических отделов, которые вполне готовы ответить за ARPU и померяться LTV:
- Василий Сабиров, далее в тексте именуется Васей, Lead Analyst в компании devtodev
- Георгий Стешенко, далее - Гоша, глава аналитики в компании Zimad
- Василий Синюрин, остался Василием, Chief Analytics Officer в компании Kefir.
В ходе беседы мы обсудили, кто такие игровые аналитики, какие у них задачи и какими инструментами они пользуются. Мы также выяснили, какое образование необходимо аналитикам, какие минимальные требования к ним при приеме на работу и что же делать аналитику с игрой.
ДАВАЙТЕ НАЧНЕМ С ПРОСТОГО: КТО ТАКОЙ ИГРОВОЙ АНАЛИТИК?
Вася: Мне нравится такое определение современного художника: «современный художник — это тот, кого называют современным художником». В каком-то смысле игровой аналитик — в ту же степь. Игровой аналитик — это человек, который выполняет роль аналитика в игровом проекте.
Гоша: В узком смысле — это человек, который помогает владельцам игрового проекта принимать решения о развитии с использованием аналитической информации, помогает понять, где они находятся сейчас и правильно ли они движутся.
Василий: Если мне не изменяет память, то мой тезка (то есть Василий Сабиров) как-то проводил аналогию между игровым аналитиком и диагностом в медицине. На мой взгляд, это очень хорошее сравнение. Человек, который должен определить, что происходит и куда идти.
Гоша: Мне не очень нравится сравнение с диагностом.
ПОЧЕМУ?
Гоша: Потому что, исходя из моей практики, аналитика вряд ли вытянет «умирающий проект»; эффективнее всего аналитик сработает тогда, когда нужно сделать из хорошего проекта отличный. Я бы тогда уж сказал «тренер».
Василий: Смотря что значит «вытянет»: в моей практике есть случай, когда удалось вытянуть на стабильные рельсы продукт, у которого трафик не отбивался из-за не сведенной экономики игры. Так что тут весьма по-разному все может происходить. Опять же, это не означает, что проект стал хитом. Но он стал жить в стабильном плюсе. Аналитик должен работать в тесном зацепе с геймдизайнерами (привет вам) и продюсером проекта, тогда это вполне по силам.
Вася: Согласен с тем, что одной лишь аналитикой умирающий проект не вытянуть. Зато можно улучшить хороший проект, с этим я тоже согласен. Диагност, вероятно, не лучший врач здесь: к нему ходят, когда плохо. В данном случае — такой семейный доктор, который всегда знает о вашем здоровье.
ДАВАЙТЕ НЕМНОГО ПРОЙДЕМСЯ ПО ЗАДАЧАМ, КОТОРЫЕ ВЫПОЛНЯЕТ ЭТОТ САМЫЙ ДИАГНОСТ (НУ ИЛИ СЕМЕЙНЫЙ ДОКТОР).
Вася: Аналитик, на мой взгляд, должен находить 1) узкие места проекта, и 2) точки его роста. В обоих пунктах подразумевается, что для этого должна быть сделана [опять она] диагностика, то есть аналитик должен в деталях понимать текущее состояние проекта во множестве разрезов.
А ЕСЛИ ПОПРОБОВАТЬ РАЗОБЩИТЬ ЭТИ ДВА ПУНКТА, УЙТИ В ДЕТАЛИ? АНАЛИТИКА ВНУТРИИГРОВАЯ, АНАЛИТИКА РЫНКА, АНАЛИТИКА КАНАЛОВ ТРАФИКА — ЭТО ВСЕ ДАННЫЕ, И КОНКРЕТИЗИРОВАТЬ ЗАДАЧИ ДЛЯ КАЖДОЙ ИЗ ВЕТВЕЙ.
Василий: Аналитика каналов трафика — это все-таки маркетинговая аналитика и она у нас живет в отделе маркетинга, и там все придумали еще до игр.
Вася: Это в Kefir, вы относительно большие. В маленьких компаниях эти функции часто склеены.
Гоша: Для меня внутриигровая аналитика, аналитика каналов трафика и биздев (аналитика) имеют слишком другие фреймворки. Их нужно понимать игровому аналитику, но работать чисто с игрой, иначе фокус сбивается. В Zimad задачи тоже расклеены, но на нас постоянно все равно падает задача раскладывать KPI по каналам.
ВОТ, ЗДЕСЬ МЫ УЗНАЛИ, ЧТО ГОША СЧИТАЕТ, ЧТО НУЖНО РАБОТАТЬ ТОЛЬКО С ВНУТРИИГРОВЫМИ ПОКАЗАТЕЛЯМИ, В KEFIR ЕСТЬ МАРКЕТИНГОВЫЙ ОТДЕЛ, ГДЕ ВАСИЛИЮ ПРОАНАЛИЗИРУЮТ ТРАФИК, А ВАСЯ, СКОРЕЕ ВСЕГО, СОГЛАСИТСЯ, ЧТО АНАЛИТИК В МАЛЕНЬКОМ ПРОЕКТЕ БУДЕТ АНАЛИЗИРОВАТЬ ВСЕ, ЧТО ПОХОЖЕ НА ДАННЫЕ, ЕЩЕ И ТЕСТИРОВАТЬ ЗАОДНО.
Гоша: Тестировать — это вообще 80% времени аналитика, вы что!!! Я вообще хочу переименоваться в «Глава отдела послерелизного тестирования и внедрения SDK», потому что ничего никогда не работает как надо. А главное — это доверять данным. Я стараюсь двумя-тремя различными способами получить цифры, если исследование очень важное. Не говорю, что это правильно или хорошо (про тестирование). Наоборот.
Василий: В Kefir в этом плане скорее маркетологи должны понимать в продукте и консультироваться с нами (аналитиками) по мере необходимости. Понимать про каналы и трафик надо, но все расчеты эффективности и прочее — это маркетинговый отдел.
ДАВАЙТЕ ПОПРОБУЕМ НЕМНОГО ИНАЧЕ. ВЫ СОСТАВЛЯЕТЕ РЕЗЮМЕ И ОПИСЫВАЕТЕ В НЕМ ЗАДАЧИ, КОТОРЫЕ ВЫПОЛНЯЕТЕ В КАЧЕСТВЕ АНАЛИТИКА. РАССКАЖИТЕ О НИХ.
Вася: Задачи аналитика в devtodev (и не только):
- мониторинг и расчёт метрик проекта (в широком смысле слова «метрики»);
- формирование гипотез по улучшению проекта;
- планирование экспериментов, их организация, подсчёт и трактовка результатов;
- и вообще, что-то типа формирования data driven культуры в компании.
Василий: Они разные (задачи).
Аналитик игровых обновлений/Геймдизайнер:
- безостановочный процесс анализа игры;
- поиск возможных проблем;
- наблюдение за воздействием обновлений на ключевые метрики игры и баланс;
- создание отчетов о результатах обновлений по имеющимся данным;
- предложение изменений на основе своих же отчетов.
Аналитик рынка игровых приложений:
- наблюдение за обновлениями крупных проектов через форумы, позиции в топах и т.д.;
- составление отчетов о результатах обновлений крупных студий на основе данных от App Annie и т.д.;
- поиск новых каналов информации о других проектах;
- аналитика игрового рынка.
Аналитик игровых обновлений/Геймдизайнер — это все-таки стык двух профессий, его основная задача — постоянный анализ проекта, нахождение мелких и средних проблемных мест и, вместо выдвижение гипотез о их улучшении, разработка дизайн-документа или хотя бы скетча обновления для последующей работы ГД.
Аналитик рынка игровых приложений — это постоянное зарывание в данные, которые предоставляет платный доступ в App Annie, нахождение интересных проектов/обновлений/фичеров, влияние событий из других индустрий (День «Звездных Войн») на проекты; поиск реакций во всевозможных reddit-сообществах на обновления интересных продуктов и т.п..
Еще есть просто позиция аналитика, куда набираются те, кто по каким-то причинам не прошел в описанные выше.
Гоша: Я вот из реальной вакансии задачи возьму:
- внедрять средства аналитики в игровые проекты;
- отслеживать ключевые метрики проектов;
- подтверждать или опровергать гипотезы команды поддержки проекта данными;
- проводить аналитические исследования, направленные на выявление слабых мест проекта, а также находить возможности для улучшения показателей;
- проводить A/B–тестирования;
- превращать данные о действиях игроков в конкретные рекомендации.
РАССКАЖИТЕ, ГДЕ ВЫ УЧИЛИСЬ И ЧТО ИЗ ПРОЙДЕННОГО ПОМОГЛО ВАМ СТАТЬ ИГРОВЫМИ АНАЛИТИКАМИ? И ГДЕ СЕЙЧАС УЧАТ ЮНЫЕ ДАРОВАНИЯ?
Гоша: Мне повезло учиться у уже знающих людей — я был в градуатской программе Innova.
А В УНИВЕРСИТЕТЫ НЕ ХОДИЛ?
Гоша: Не хотел хвастаться просто: учился на физика-экспериментатора в МФТИ. Работа в лаборатории в течении нескольких лет, конечно же, дает нужные навыки обработки и использования данных.
Вася: Я учился на Мехмате (магистратура), в Высшей Школе Экономики, ещё заканчивал переводчика (технический русский-английский). В какой-то мере всё это помогло (Мехмат, конечно, больше всего), но всё равно решает практика, а не образование. Мне повезло: на переходе из просто аналитика (банки — государственные учреждения) в игрового, я оказался в Xsolla. С одной стороны, это финансовая организация, сервис, с другой — одной ногой уже стоит в поле игровой индустрии, поэтому переход для меня прошел достаточно органично.
Для юных дарований: курс devtodev, Innova, да и часто аналитиком в компании становятся после маркетолога или геймдизайнера в той же компании.
Гоша: У Вышки наверняка есть хорошие магистратуры, если посмотреть. В Innova люди из Вышки вполне успешно применяли знания, полученные во время учебы, так что, я думаю, там все довольно актуально.
Василий: Сейчас мне будет слегка неловко, но учился я на технолога-машиностроителя в ВолгГТУ и устраивался в Kefir серверным программистом, и им работал около 2-х лет. Всегда увлекался игровой аналитикой и ее интеграцией в проект. В какой-то момент меня поставили главным по аналитике, и практика въехала в меня на полном ходу. Все теоретические знания пришлось тянуть по пути. Порой часто грущу без нормального математического образования.
Курсы devtodev и правда хороши, и я готов звать людей сразу на собеседование, ибо тестовое задание им уже ни к чему. При условии, что они прошли курс, конечно.
ТЕПЕРЬ БУДЕТ СЛОЖНЫЙ ВОПРОС, ИБО В ЧАТЕ ОН ВЫЗЫВАЕТ КУЧУ СПОРОВ: КАКИЕ МИНИМАЛЬНЫЕ ЗНАНИЯ ДОЛЖНЫ БЫТЬ У ЧЕЛОВЕКА (ПОКА ОН ЧЕЛОВЕК), ЧТОБЫ ПРЕТЕНДОВАТЬ НА ПОЗИЦИЮ JUNIOR ANALYST?
Гоша: Excel + логика, остальному научится.
Вася: Кстати, да, хорошая формула. Логика здесь (в моём понимании) — это не булевская, а именно простая человеческая логика, здравый смысл.
Василий: В последнее время у меня три критерия:
- курс devtodev (если не проходил, я даю вопросы и задачи примерно как там);
- понимание и любовь к играм (много играет, много знает, легко отделяет хотя бы жанры);
- не падает со стула (это очень важное требование).
Думаю над тем, чтобы ссылку на профиль Steam’a просить.
ТО ЕСТЬ КАЖДЫЙ ИЗ ВАС МОЖЕТЕ ВЗЯТЬ СЕБЕ ДЖУНА, ВЫ ГОТОВЫ УЧИТЬ?
Гоша: Я готов, но условия не позволяют. Вообще компании, которые сами не учат, со временем начнут жалеть, что так не делали (если доживут, конечно).
Василий: Я готов, чтобы он у меня учился, сидя в отделе. За ручку никто водить не будет и если человек не может решать неформулизованные задачи - будет проблема.
Вася: Есть известный замкнутый круг: для принятия на работу нужны кейсы, для наличия кейсов нужен опыт работы. И взломать этот круг человек может базовыми знаниями и навыками, умноженными на мотивацию развиваться в этом рынке.
ВАСИЛИЙ, ТЫ ВОТ ПРО АККАУНТ STEAM ЗАГОВОРИЛ. А ЕСЛИ ЭТО ДЕВОЧКА, КОТОРАЯ ИГРАЕТ В MATCH3?
Василий: Ну это значит, что хотя бы травианы с match3 не спутает. Тут главное быть в теме игр.
Гоша: Я думаю, что человек, который не в теме игр, не захочет сам идти на позицию такую. Тут пока ни денег, ни славы (за редкими исключениями).
Василий: Модно стало, я уже много таких видел. Игровой опыт (не мобильный, к сожалению) очень легко доказать вот так (мне по крайне мере). И это уже повод рассмотреть кандидата поближе.
Вася: Кстати, помню, когда LoL нанимали аналитика, они сразу просили ссылку на профиль, притом не ниже 20 (или около того) уровня.
Гоша: У меня 500 часов в BF1. Надеюсь, однажды мне пригодится.
А МОЖЕТЕ РАССКАЗАТЬ ПРО ИНСТРУМЕНТАРИЙ, КОТОРЫЙ ИСПОЛЬЗУЕТЕ В РАБОТЕ (НЕ ОДНИМ EXCEL’ЕМ ЖИВЕМ ЖЕ)?
Вася: Мой ответ не очень релевантен здесь, мы сами себе инструмент: devtodev + Excel
Гоша: У нас в компании основные две лошадки: веб-аналитика от Infinario (они же Exponea) и сырые данные на ClickHouse, которые гоняем через Excel/Power BI/R/Python в зависимости от сложности запросов и навыков конкретного человека.
Василий: Python (PyCharm), Apache Hive (Hadoop+spark), ClickHouse, devtodev, App Annie, Google Docs (Spreadsheets), блокнотик, книги, игры.
У КАЖДОГО ИЗ ВАС БЫЛИ НЕДАВНО ВАКАНСИИ АНАЛИТИКОВ (А У КОГО-ТО И СЕЙЧАС ЕСТЬ). РАССКАЖИТЕ, КТО ПРИХОДИЛ, КАК ВЫ ОЦЕНИТЕ СРЕДНИЙ УРОВЕНЬ ВСЕХ, С КЕМ ОБЩАЛИСЬ? И, ЕСЛИ МОЖНО, ОТКУДА РЕБЯТА ПРИХОДЯТ И ПОЧЕМУ?
Гоша: Я не смотрю на резюме и не общаюсь, пока не вижу решений тестового задания. 80% выполняли «на отвали» и я даже резюме не читал, так что не знаю. Остальные были уже аналитиками в других компаниях с опытом.
Вот пара задач из нашего тестового:
- Вы вернулись из отпуска и с удивлением узнали, что одна из проектных команд успела сделать клон игры Bubble Witch 3 Saga в сеттинге космического вестерна. Игра в Soft Launch уже 8 дней и каждый день в игру «нагоняли» 1000 человек. Через час встреча с советом директоров компании и от вас ждут отчета о перспективности данного проекта. Какие 10 вещей вы посмотрите в аналитике в первую очередь? (Допустим, что разработчик проекта случайно залогировал в аналитике все события в игре со всеми параметрами.)
- Возьмем абстрактную match3-игру с уровнями и бустером «Бомба», который можно купить за 100 монет. Продюсер этой абстрактной игры считает, что награда за просмотр видеорекламы должна быть 10 монет, а геймдизайнер считает что 20. Рекламная сеть позволяет пользователю смотреть не более 5 рекламных роликов в день. Вам выпала честь организовать АB-тест их предложений. Как вы его проведете? По каким показателям будете оценивать результат?
Василий: Приходят из совершенно разных мест, прям вот совсем. Основная проблема, почему не взяли:
- Ошибки в ТЗ на очень простых вопросах.
- Не могут решать неформулизованные задачи.
- Не могут дать развернутый ответ.
Вася: Ребята, которые уже работают в игровых компаниях, либо ребята, которые очень хотят туда попасть (а сами при этом либо студенты, либо специалисты в совершенно других отраслях, типа кредитования). Средний уровень (это субъективная характеристика) — нормальный (6/10). По Excel мы их, конечно, не гоняли (представляю, как я спрашивал бы про функцию СРЗНАЧЕСЛИ), но просили, например, пройти наш курс (это заодно и критерий мотивации, 16 лекций как-никак) и посоветовать, как улучшить игру (взяли почти случайную игру из стора).
Василий: Мое любимое — это неправильный ответ на вопрос: «Необходимо упорядочить эти величины по возрастанию: Day 1 Retention, Day 1 Rolling Retention, Day 7 Retention». Привет курсу devtodev. Вопрос про то, как улучшить игру, тоже есть, но там самому надо выбрать. Очень часто это калька из Интернета, что в общем-то характеризует уже лучше всяких вопросов.
Вася: Бывало, что мне моим же текстом отвечали на некоторые вопросы, до смешного доходило (до скриншотов из моих статей, например).
Забавный кейс из моей практики: устраивался когда-то в Танки Онлайн (устроился, всё ок) и нужно было проанализировать динамику показателя JAP. Я голову сломал, что это за показатель такой и Google едва не сломал. Нашёл, что у кого-то JAP называли долю пользователей из Японии - там как раз был процентный показатель.
Ваши гипотезы, что это было на самом деле?
Гоша: Думаю, это J… Active Players.
Василий: Ставлю на DAU.
У меня первая мысль мысль была про пользователей из Японии, но думаю, что не так все скучно.
Вася: В общем, Just Another Pokazatel’.
ЕСТЬ УСЛОВНАЯ ИГРА. ОНА УЖЕ ЖИВЕТ, ВНУТРИ ЕСТЬ ИГРОКИ. И ВДРУГ ИГРЕ ДАЮТ АНАЛИТИКА. ЧТО ЕМУ НУЖНО СДЕЛАТЬ В ПЕРВУЮ ОЧЕРЕДЬ, И КАК ВООБЩЕ БЫТЬ С ПРОЕКТОМ В ДАЛЬНЕЙШЕМ?
Гоша: У меня был такой кейс. Собственно, с нашей топовой игрой.
- Сначала опросил продюсера и геймдизайнера по поводу того, в чем, по их мнению, сильные и слабые стороны продукта. Провел ресерч и сразу вскрылось много интересного. Оказалось, что сильные стороны не такие уж и сильные, а слабые - не такие уж и слабые.
- У любого человека, знакомого с играми (а мы уже решили, что других не берем), будут свои мысли по поводу того, что не так в проекте. Их проверяем тоже.
- Дальше, в любом случае (если это не было сделано выше) надо смотреть экономику.
- Дальше смотреть (если это не было сделано выше) onboarding во всех его проявлениях.
Уверен, что на этом этапе уже будет запас тестов и доработок на год вперед.
Василий: Самое быстрое — это подключить сторонний сервис и подождать, пока все старички прольются через новых. Начать выстраивать свою систему с кастомными треками. Анализировать.
Есть бесполезный пример. Был проект: топовый, без какой либо аналитики. Управлялся геймдизайнерами и продюсером «на чуйке». Долго и нудно (старый легаси код) внедряли аналитику. Все данные сошлись с чуйкой геймдизайнеров. Вывод: хорошо иметь чуйку.
Есть полезный пример, который я в самом начале описал. Нюанс его в том, что там три разные системы аналитики прошли и в итоге это привело к результату.
В идеале стартовать нужно «хоть с какой то» системой. Потому что, когда посреди продакшена вы захотите что-то внедрить, то вы устанете ждать, пока все игроки «просеются»и увидите нормальные цифры.
Вася: Я бы рекомендовал такой алгоритм:
- Попроситься сесть рядом с продюсером; если/когда он откажет, вздохнуть и сесть в отдел геймдизайна.
- Взять и посчитать все основные метрики проекта за как можно более долгий период (желательно, от основания).
- Посмотреть на скачки в поведении этих метрик и разобраться в причинах; этот самый анализ в итоге и даст аналитику понимание того, как пользователи реагируют на игру, что им нужно, что им интересно, как они ведут себя в условиях изменяющегося проекта.
- Где-то на этом этапе должны в голове начать рождаться гипотезы, как можно сделать этот проект лучше; эти гипотезы можно обкатывать на геймдизайнерах как раз.
Действительно, важно на всех этапах играть в эту игру самому, глубоко в неё погружаясь
Василий: Да, играть в игру — это, пожалуй, самое первое и самое главное. По крайней мере, на старте.
На этом прекрасном выводе (играйте в игры) мы и распрощались. Спасибо каждому из опрашиваемых, было познавательно.
Подписывайтесь на YouTube-канал нашего образовательного центра и добавляйтесь в нашу группу в Фейсбуке, чтобы всегда оставться в курсе наших последних новостей.
Регистрируйтесь на бесплатный онлайн-курс от devtodev и совершенствуйте свои знания в игровой аналитике.
Готовы начать пользоваться сервисом? Регистрируйтесь прямо сейчас.