Руководители компании Wargaming (создатель World of Tanks) — вице-президент Андрей Яранцев и директор по исследованию и анализу данных в компании Сергей Кадомский — рассказали редактору рубрики Growth Hacks о том, как работает команда аналитиков, какие игровые показатели они отслеживают и какие приемы используются для стимулирования игроков.
Как осуществляется аналитика в играх, какие инструменты и для чего вы используете? У нас ещё не было материалов об аналитике именно в играх, поэтому нашим читателям будет очень интересно получить развернутый ответ на этот вопрос.
Андрей Яранцев: В работе аналитика (любого, игрового в том числе) всегда есть две составляющие. Первое — это рутина. Изучение отчетов, выявление проблем (а иногда и поиск их решений), негативных трендов. Второе — это работа по заказу. Например, приходит к вам клиент с конкретной аналитической задачей и говорит: «Было так, а стало вот так. Почему?». Специалист анализирует, изучает и объясняет причины изменений с точки зрения аналитики.
Андрей Яранцев, вице-президент Wargaming
Если говорить про гейм-индустрию, то аналитику можно разбить на два больших блока — один для паблишинга (маркетинговая аналитика, с помощью которой добиваются высокого ROI), другой — для разработки (внутриигровая аналитика, для повышения LT/LTV).
Главный инструмент любого аналитика — голова и логика. И всё. Это применимо к абсолютно любой сфере. C приемами уже сложнее: в Wargaming, как во всей игровой индустрии, их много — сегментация (новички, core, платящие и неплатящие), классификация по определенным признакам (назначение статуса во внутренних CRM-системах), кластеризация (выделение групп со схожими характеристиками) и так далее.
Вообще, вся аналитическая работа сводится к построению моделей, которые не только облегчают планирование, но и помогают своевременно реагировать на поведение игрока. Например, модель предсказания ухода игроков (одна из таких моделей была построена в сотрудничестве с
Yandex Data Factory в декабре 2014 года) превентивно «напрягает» CRM-систему компании по поводу игроков, оказавшихся в «зоне риска».
Какие данные собирает эта внутренняя система аналитики и почему она для вас удобнее, чем внешние инструменты? На какие из внешних инструментов части вашей аналитики похожи?
А. Я.: Самые первые аналитические системы мы сделали еще в 2010 году. Серверная часть разрабатывалась на базе движка BigWorld, а фронтенд писали на Python. Постепенно подключали информацию от систем мониторинга Nagios, Cacti. Они все opensource, мы их не дописывали, а настраивали под себя, а потом смотрели на эффективность. Так в руках аналитиков появились данные о работе серверов и много других нужных параметров.
В то время для обработки данных Wargaming активно использовала MongoDB и Memcached: показатели считались оперативнее и при этом не сильно нагружали игровую базу данных. Первый год проекта в пиковое время серверам приходилось нелегко, а если мы бы ещё и реалтайм-аналитику туда привязали, то легло бы всё. Часть данных собиралась с периодичностью раз в пять минут. Контрольный сбор был раз в сутки, во время самого низкого PCCU: можно было безболезненно выкачивать всё, что можно.
Офис Wargaming
Со временем к этому добавлялись различные обвесы на Java, менялись модели представления данных. Но в какой-то момент (примерно в 2013 году) вся эта система потребовала настолько много усилий по поддержанию, что решили перейти на связку Hadoop, Oracle и Tableau. По этому сценарию работаем до сих пор: туда выгружается очень большой объём данных со всех игр.
В каждом из проектов есть стандартный, состоящий примерно из 20 показателей, набор метрик (DAU, Reg, ARPPU, %pU) и уникальный набор метрик, необходимых сотрудникам паблишера, гейм-дизайнерам и другим специалистам.
В целом, система похожа на любую современную аналитическую систему, которая обеспечивает сегментацию пользователей, отображает KPI, умеет делать data mining и предикшены.
Что вы знаете об игроках, какие именно цели и события собираете?
А. Я.: Один бой — это примерно 2-3 МБ различной информации, которой сервер обменивается с клиентом. В среднем человек играет 20–25 боев. При DAU (daily active users) в несколько миллионов человек получаются сотни терабайт данных в сутки только на RU-кластере. В теории нам известно про игрока всё, но чтобы обработать эту информацию, потребуется система в разы сложнее самой игры. Тем не менее, большой набор данных логгируется и собирается с серверов.
Анализируя внутриигровые показатели, мы можем отследить скорость прокачки техники и экипажей, моменты социализации (игра во взводе, роте, вступление в клан), баланс техники и карт, токсичность, поведение в чатах, покупки, потребительскую корзину игрока и так далее.
Плюс, не будем забывать про маркетинг, который собирает информацию по каждому этапу воронки: от показа баннера и регистрации до входа в игру и покупки первого танка. Конверсия перехода на новые уровни тщательно анализируется, и даже малейшие недостатки должны быть устранены.
Ежедневная сводка. Есть какие-то показатели, на которые вы смотрите каждый день, и в соответствии с ними принимаете оперативные решения? Что это за показатели?
А. Я.: Утро начинается с цифр. Первым делом отсматриваю статистику и изучаю графики онлайна серверов, регистрации и платежи, траты. Если есть какой-то спад или непонятные колебания, то к ответу призываются руководители проектов. Чаще всего причинами нетипичной картинки являются какие-то наши технические активности — здесь актуализация статистики на игровых аккаунтах, там — перезагрузка серверов или начисление «плюшек», а тут дело в push-уведомлениях.
Чаще всего в паттернах царит стабильность, а при малейших изменениях — разбор полетов и вопрос «почему?». Утро является самым подходящим для этого временем: ответственный человек получил задачу, проанализировал, пофиксил, если нужно, а потом с чистой совестью приступил к другой работе.
Изучение графиков на этом не заканчивается: в течение дня проводится анализ проекта, который на данный момент вызывает наибольшее количество вопросов. В этом случае углубляемся более серьезно: берётся статистика по конкретным регионам, за определённый отрезок времени и начинаем «копать» — изучать различные представления данных, строить и проверять гипотезы такого поведения.
Несмотря на огромное количество тонкостей и специфику индустрии ММО, здесь ты на оперативном уровне отталкиваешься от показателей CCU (concurrent users), Regs (регистрации), Payments (платежи), а на стратегическом — от стоимости привлечения игрока CPI (cost per install) и того, сколько он тратит LTV (life time value).
Ты говоришь, что у вас есть разные группы пользователей. Как они специфично себя ведут и какой подход вы применяли для выделения этих групп?
А. Я.: На момент запуска World of Tanks в 2010 году деление пользователей было очень простое: ядро, потенциальное ядро и новички. Плюс группы платящих и неплатящих игроков. Постепенно учились проводить анализ более сложных вещей, например, как ведёт себя неплатящая часть ядра, какое влияние на них оказывают акции, скидки или, скажем, вступление в клан.
Исследовали феномен платящих новичков, искали оптимальный уровень ежемесячных трат, экспериментировали с внутриигровой монетизацией, пока не сформулировали четко принцип free-to-win.
Примерно в 2012 году пришло время более серьезной сегментации аудитории. Выделили шесть ключевых групп игроков. Вот здесь уже деление было максимально подробным и основывалось на различных признаках: любовь к истории, возраст, образ жизни, выбор игровой платформы, а также социальный статус. Это был ощутимый вклад именно в маркетинговую аналитику, и с тех пор все рекламные и брендинговые активности мы строим с учетом модели поведения этих групп.
Сергей Кадомский: Есть несколько типов разделений, основанных на различных признаках. Социально-демографическая сегментация, например, интересна как маркетологам для продвижения, так и гейм-дизайнерам, чтобы понимать, для кого они делают продукт.
Сергей Кадомский, директор по исследованию и анализу данных Wargaming
Деление по платёжным характеристикам тоже важно. Необходимо знать, что покупают игроки, в каком количестве и на каких этапах. Это такая своеобразная группировка пользователей по их потребительским корзинам.
Сегментация по вовлеченности делит геймеров на хардкорных и казуальных: кто-то играет каждый день и много, а кто-то по два боя только по выходным.
Интересным подходом является изучение аудитории при взгляде с нескольких точек зрения. Например, совмещение сегментации по вовлеченности с популярностью режимов и техники. Это позволяет понять, какие фичи и контент будут пользоваться большим спросом.
Расскажите о приемах, которые вы используете для стимулирования, удержания, вовлечения, и которые основаны на этой сегментации?
А. Я.: Для того чтобы ответить на этот вопрос, давайте представим аудиторию «Танков» в виде трех пирамид. Верхушка первой — клановые войны. Сюда идут все, кем движет желание побеждать и вести за собой армию. Вторая пирамида — киберспорт. Здесь находятся те игроки, которые смотрят на виртуальные сражения через призму заработка и самореализации. Третья пирамида — рандомщики. Вот как раз они идут за фаном. Есть свободное время — поиграю в «Танки», отвлекусь.
Для каждой пирамиды есть разные методы стимулирования, удержания и вовлечения. Взять, к примеру, киберспорт. Стараемся мотивировать игроков расти до настоящего прогейминга. За все время существования игры, World of Tanks воспитала не одно поколение топовых танкистов. Разумеется, начинается все с малого: мини-турниры, региональные соревнования и, наконец, международная арена. Игрок (кому это на самом деле интересно) проходит путь от дворового киберспорта до вершины.
Аналогично с кланами: стимулируем тех, кто играет во взводе, начать играть в ротах, качаться и вступать в кланы. От малого к большему. Социализация хорошо удерживает людей, а с добавлением функциональности укрепрайонов мотивация объединяться стала еще сильней.
В рандоме все решают мини-игры, скидки, акции, ивенты и конкурсы (один только «Танковик» чего стоит).
Здорово удерживает, да и вообще доставляет много фана и отлично выполняет информационную функцию, весь создаваемый вокруг игры контент: UGC (user generated content), десятки тысяч пользовательских каналов на YouTube, радио и группы в социальных сетях.
А есть ли какие-то активности у вас, которые направлены на стимулирование покупок внутри приложения?
А. Я.: Стимулировать к совершению покупок должна в первую очередь сама игра. Она должна подвести человека к мысли о том, что ему нужен, например, премиум-аккаунт. Мотивируем также с помощью специальных акций и предложений. Но и здесь есть проблема: если снижать цены слишком часто, то люди привыкают и ждут скидок. Поэтому здесь стараемся привязываться к каким-то знаковым событиям или делать их случайными, чтобы разрушить миф о некой системе, которая снижает цены ровно два раза в месяц — в дни аванса и зарплаты.
У Wargaming есть также свое ноу-хау: мы неплохо стимулируем пользователя к покупкам с помощью обучающих видео. Не все игроки понимают, каким должен быть стиль игры и боевое применение у того или иного танка, а полагаться на свою интуицию и тратить деньги впустую боятся. Продающие ролики объясняют, как освоить машину и играть в своё удовольствие.
Бывают акции, инициированные уже самими платёжными системами. В этом случае мы заранее обсуждаем размер бонуса с «платёжками» и запускаем по договоренности. О крупных акциях иногда рассказываем в ТВ-рекламе. Речь идет именно о масштабных ивентах, таких как Новый год.
Как используете различные исследования в связке с аналитикой для понимания поведения пользователей?
С. К.: Хороший и удобный способ — это комбинация качественного, количественного исследований и аналитики. На начальном этапе мы выявляем проблему (иногда она видна из статистики) путем проведения плей-тестов, тестов на юзабилити и интервью с пользователями. Здесь участвует не более 15 игроков.
Затем берем полученные данные и устраиваем масштабный опрос среди игрового коммьюнити, чтобы подтвердить, либо наоборот — опровергнуть выведенную нами теорию. Методом опроса можно отследить, как разные группы игроков реагируют на тот или иной вопрос. Параллельно ведем аналитическое исследование в числах: фактически, проверяем гипотезу.
Расскажите о какой-то новой фиче — как тестировали, как смотрели на поведение, как себя пользователи вели, что вы в результате решили изменить?
А. Я.: Попытаюсь ответить на ваш вопрос на примере танкового киберспорта. Мы с нуля подняли World of Tanks как мировую eSports-дисциплину, несмотря на то, что изначально «Танки» под киберспорт все же не затачивались. Если посмотреть на ключевых eSports-гигантов — это минимум вариаций в балансе, одна изъезженная вдоль и поперек локация и бои пять на пять максимум. В «Танках» же разнообразие карт и техники значительно выше, 15 игроков в команде, из обновления в обновление меняются характеристики засвета, бронепробития и так далее.
Толчком к развитию eSports послужил первый танковый турнир «Стальной шторм», который состоялся еще во время ЗБТ (закрытого бета-теста — прим. ред.) в июле 2010 года. Киберспорт как игровая фича на этом этапе выглядел непрезентабельно. Играли в традиционном режиме с двумя базами, команда 14 человек и «чемпионские» 90 очков на технику (формат 7/42 появился позднее).
Вначале это были просто представители сильных кланов, но постепенно в игре появились первые прогеймеры, чей фидбек стал основой для доработок. Стало понятно, что боям не хватает зрелищности, на полях сражений царит пассивность и идет игра от обороны. Началась долгая и кропотливая работа — турнир, сбор фидбека, правки, снова турнир и так далее.
Настоящий прорыв сделали в 2014 году, когда привлекли к фокус-тестам команды прогеймеров. Так оказалось намного продуктивнее. Поэкспериментировали с картами, количеством баз, скоростью захвата, ограничениями на типы техники и так далее. В итоге стало понятно, как должен выглядеть подходящий для «Танков» киберспортивный режим («Атака/Оборона» выходит в обновлении 9.7). Параллельно велась большая работа с комментаторами, стримерами, организаторами финалов, чтобы финалы киберспортивной лиги World of Tanks выглядели как настоящее шоу.
У вас были приемы, которые не приносили ожидаемых улучшений показателей, то есть вы вводили какую-то новую фичу, а показатели падали?
А. Я.: Было и такое. В случае с «Историческими боями» значительно переоценили тот сегмент аудитории, который интересуется (по-настоящему) историей. Формат просто не пошел. Главной причиной стал баланс и отсутствие гаражных войн.
Больным вопросом стала графика в обновлении 9.0. Здесь мы сильно переоценили желание к «апгрейду железа» у игроков. Изначально была уверенность, что около 30–50% игроков перейдут на улучшенную графику, но на деле таких оказалось максимум 5%.
В первую очередь пользователи хотят хороший и сбалансированный геймплей, а потом уже все остальное. Несмотря на промах, от идеи исторических боев не отказались. На ошибках учатся, и проблем первой попытки во второй раз не будет: формат уже пересмотрен.
Так, а всё-таки расскажите про неожиданную информацию, которую вы узнавали о своих пользователях?
А. Я.: Неожиданной оказалась живучесть некоторых мемов. Например, на бета-тесте в World of Tanks была будка, в которую прошили характерный «собачий» звук. Когда будку с очередным апдейтом убрали, Wargaming завалили просьбами о возвращении собаки в игру. А наши олдскульные игроки часто спрашивают на встречах: «Когда вы вернете собаку?».
Вообще, таких примеров хватает. Есть исследования, которые доказывают, что большая часть игроков до прихода в World of Tanks совсем не интересовалась историей. Если судить по результатам опросов, то до 70% пользователей утверждают, что «Танки» поменяли отношение к истории: игроки стали читать больше книг о военной технике и интересоваться легендарным прошлым своей страны.
Но настоящей неожиданностью стало то, что настоящих (хардкорных) любителей истории в игре немного, всего несколько процентов. Это значит, что для многих увлечение историей — это скорее «диванное» занятие, чем готовность взять кисточку в руки и идти красить танк в музее своего города.
Дайте нашим читателям интересный и важный совет, касающийся аналитики в играх.
А. Я.: Используйте по возможности не одну систему аналитики, а несколько (как минимум одну от Google, Facebook или Yahoo, а одну свою собственную). Выбор позволяет: на рынке сейчас появилось большое количество бесплатных или недорогих систем.
Обязательно сделайте информацию о ключевых метриках проекта доступной всем членам команды. Каждый сотрудник должен иметь представление о CPI и LTV своего проекта и, как минимум, иметь перед глазами свежие показатели CCU, Reg, % Payers, ARPPU.
Благодаря доступу к аналитике вы и ваши сотрудники сможете принимать не только более взвешенные и разумные решения, но и снизить количество споров («против фактов не попрешь») и повысить мораль в команде.
С. К.: Хорошо развитая аналитическая экспертиза даёт большое конкурентное преимущество на рынке, поэтому мало кто торопится поделиться своими секретами и ноу-хау в открытом доступе. Поэтому нужно постоянно штудировать базы научных статей (например, scholar.google.com), интересоваться достижениями в аналитике и «поселиться» на специализированных сайтах.
Важны знакомства. Налаживайте связи с представителями отрасли, общайтесь с аналитическим коммьюнити и старайтесь посещать конференции по игровой аналитике.
Делитесь знаниями и обменивайтесь опытом. Здесь можно привести в пример Wargaming: мы создали аналитическое коммьюнити Data Talks, где выступаем сами и приглашаем для участия экспертов индустрии. Следите за трендами, и не бойтесь подсматривать у других аналитических сервисов.
About the author
