Содержание

Как работать с продуктовыми метриками

Метрики помогают отличить субъективное от объективного и принимать решения, основываясь на реальных данных.

По сути, метрики — это просто цифры и данные, относящиеся к продуктам, источник информации о них. Метрики нужны для разных целей. Кто-то хочет проверить, как в целом идут дела, поэтому смотрит основные показатели. Кто-то хочет больше узнать о финансовых показателях или реакции пользователей — чтобы понять это, общих метрик будет недостаточно, нужно выбрать другие.

Вариантов использования метрик множество: они зависят от продукта, подхода, логики и даже фантазии продакт-менеджера или маркетолога. Сколько раз в год, как и в каких соотношениях измерять метрики — решают те, кто занимается продуктом.

Общая схема использования метрик:

  • измеряем количественные показатели, оцениваем (насколько это возможно) качественные показатели;
  • стараемся смотреть показатели не порознь, а во взаимосвязи, чтобы видеть цельную картину;
  • делаем это с некоторой периодичностью, чтобы понять динамику;
  • получив эту информацию, думаем, как её использовать: либо просто принимаем к сведению, либо же решаем что-то изменить, экспериментируем;
  • продолжаем анализировать метрики, чтобы и дальше понимать, что происходит.

Ниже мы собрали несколько примеров использования метрик.

Допустим, половина команды считает, что в интерфейсе приложения нужна красная кнопка, а половина — что зелёная. Чтобы получить реальные данные, а не принимать решение, основываясь только на предположениях команды, можно использовать сплит-тест: подготовить оба варианта, показать пользователям и понять, какая из кнопок реально решает задачу.

Вы создали мобильное приложение и хотите заняться его продвижением. С помощью метрик можно измерить результат какого-то действия и запланировать расходы. В таком случае метрика CAC или customer acquisition cost поможет понять, сколько стоит привлечь в приложение одного пользователя.

Чтобы правильно рассчитать этот показатель, нужно учитывать характеристики продукта и точно знать, кто и за что платит деньги. Например, в Dropbox пользователь покупает только PRO-версию продукта, а в Facebook платит за рекламу, поэтому формула расчёта CAC будет отличаться.

Вы выпустили приложение, его скачивают, но вы хотите понять, сколько вам платит каждый постоянный пользователь. Для этого нужно рассчитать LTV, или Lifetime Value продукта с помощью одного из методов или калькулятора от Ingate.

skillbox.ru

Как выбрать метрики продукта

Теперь давайте посмотрим, чем руководствуются разные компании при выборе метрик для продукта.

Александр Сергеев, руководитель отдела аналитики в «Едадиле», рассказал, как они в компании выбирают и валидируют метрики.

Основные метрики в приложении — MAU (Monthly Active Users — количество активных пользователей в месяц) и 

LTV (Lifetime Value — сколько каждый пользователь приносит денег).

Для исследования в «Едадиле» используют карту ивентов, куда заносят все действия пользователей: сколько человек смотрит приложение, какие разделы, когда и по какому элементу кликают. Потом эти данные отправляют аналитикам.

Amplitude — сервис аналитики для мобильных приложений. Пол Куллик, менеджер продукта в Amplitude, советует перед запуском любого нового продукта устанавливать измеримую цель. Она поможет определить, был ли релиз успешным.

Для этого они создали электронную таблицу с двумя разделами. Первый — для первичных метрик, которые предназначены для общих показателей успеха продукта, а второй — для тех, которые помогают проверить уже принятые решения. Если что-то идёт не так, команда возвращается в начало и пересматривает основные предположения о продукте.

Так выглядят первичные и вторичные метрики в Amplitude.

Первичные метрики
Engagement (self)Процент пользователей, которые каждый день заходят на свою страницу.
Engagement (others)Процент пользователей, которые каждый день посещают чужие страницы.
Hover EngagementПроцент пользователей, у которых включены всплывающие уведомления от приложений и которые переходят по ним.
DiscoveryПроцент новых корпоративных пользователей, которые посещают профиль другого пользователя в первой сессии.
Вторичные метрики
Photo EngagementПроцент пользователей, добавивших фото в профиль.
Description EngagementПроцент пользователей, которые добавили фото в течение недели после создания своего профиля.
Navigation to browseПроцент пользователей, которые нажимают на дашборды, диаграммы и лайки при посещении профиля.
Popular Content EngagementПроцент пользователей, которые нажимают на популярные дашборды и диаграммы при посещении профиля.

Чтобы установить показатели успеха, в Amplitude собираются всей командой. Они обсуждают поочерёдно каждую метрику из таблицы и выбирают цель: каких числовых показателей нужно достичь и что делать, если не удастся этого добиться. Например, целевой показатель для процента ежедневных активных пользователей, которые заходят на страницу своего профиля, — 10%.

Пол Куллик подчёркивает, что эта система работает, потому что «люди чувствуют, что могут управлять числами, и им интересно наблюдать, как цифры приходят в соответствие с целями».

В Intercom считают, что правильные метрики начинаются с правильных вопросов. Для выбора показателей они используют принципы концепции HEART, которую создали в Google (в первой части статьи о метриках рассказали подробнее об этой модели).

Вот вопросы, которые в Intercom задают своим специалистам по продуктам, чтобы помочь им понять цели и определить значимые показатели:

  • Представьте идеального клиента, которому выгодно пользоваться нашим продуктом. Какие действия он предпринимает?
  • Какие конкретные действия нужно совершить пользователю с нашим продуктом, чтобы достичь цели?
  • Помогает ли эта функция решить какую-то проблему, с которой сталкиваются все или некоторые пользователи?

Один из продуктов Intercom — справочный центр со статьями. Этот сервис помогает компаниям общаться с пользователями с помощью робота. Если у пользователя возникает проблема, робот предлагает ему информационные статьи, которые помогут её решить.

Чтобы создать ранние бета-версии продукта, команда Intercom использовала уже проверенный подход с вопросами, и им казалось, что у них есть надёжный набор метрик. Позже они решили использовать дополнительные метрики, чтобы понимать, сколько времени требуется одному пользователю на переход от пробной версии продукта к платной. Оказалось, чтобы осознать ценность продукта и начать им активно пользоваться, клиенту нужно много времени.

Выяснив это, команда Intercom решила упростить продукт. Благодаря этому увеличилось количество довольных пользователей и сократилось время перехода с одной версии на другую.

Выбрать подходящие метрики с первого раза получается не всегда. Придётся ошибиться несколько раз, зато потом вы найдёте те, которые лучше всего помогают контролировать продукт. Но всё равно не получится навсегда ограничиться только этими удачными метриками, которые вы с таким трудом нашли. Особенно если ваш продукт часто обновляется, появляются новые функции и новые пользователи. Задумываться о подходящих метриках придётся снова и снова.

Чтобы метрики приносили пользу, специалисты Intercom

советуют не только определять успех продукта, но и проверять, насколько полезны используемые показатели. Для этого они постоянно задают себе такие вопросы:

  • Дают ли эти показатели реальную картину успеха нашего продукта?
  • Влияют ли они на то, как мы относимся к продукту?
  • Мотивируют ли они команду, которая создаёт продукт?

skillbox.ru

5 ключевых метрик, говорящих об успехе продукта

Один из основных вопросов, которые должны задавать себе предприниматели – нравится ли клиентам их продукт. Но часто, по мере развития компании, ее основатели начинают фокусироваться только на прибыли.

«Проблема прибыли, как индикатора успешности продукта заключается в том, что, когда вы начнете ее терять, будет уже поздно» — Тодд Олсон, генеральный директор компании Pendo.

Но даже те, кто выходят за пределы прибыли, могут попасть в ловушку метрик. В некоторых компаниях, которые измеряют, например, только индекс лояльности клиентов, существует проблема недостатка данных. Но переизбыток данных тоже может стать проблемой: с морем метрик и сравнительных тестов, довольно сложно расставлять приоритеты.

Ниже, мы приведем 5 простых метрик успешности продукта.

 

Широта использования

Самая интуитивная мера успешности продукта — это простое измерение того, сколько людей его использует. Вы можете легко получить эти цифры, отслеживая активность аккаунтов.

Выберите самый важный для вас показатель – общее количество пользователей, общее количество активных пользователей, или общее количество активных аккаунтов.

Мы считаем, что успех – это наличие более 5 активных пользователей на одного клиента за последние 30 дней.

1-hGIJ8Y5SXWOyQaaOYFzjxw

Частота использования

Будет сложно сохранить пользователя, который не авторизуется в вашем продукте. В конечном счете, если клиент не посещает продукт на протяжении месяца – это плохо.

Чтобы понять частоту использования, измеряйте такие метрики, как количество авторизаций, и продолжительность сессий.

То, как часто пользователи должны возвращаться, зависит от назначения продукта, но обычно, чем чаще, тем лучше. Мы считаем, что 10 логинов на одного пользователя за 30 дней – это хороший результат.

1-q5dvN78J50I7QIi4ggL1_w

Если ваша частота авторизаций оставляет желать лучшего, то тут нет универсального решения. Сначала, вам нужно разобраться с пользовательскими сегментами.

Изучите свою аудиторию, и динамику того, кто должен использовать ваш продукт, как часто, и по какой причине. Например, новые клиенты должны вести себя совершенно иначе, чем существующие. Разбейте своих пользователей на разные сегменты – это поможет вам понять, удовлетворяете ли вы их потребности.

 

Глубина использования

Понимание того, какое количество функций вашего продукта используется – ключ к успеху. Один из самых простых способов определения глубины использования – измерение того, какой процент функционала вашего продукта используется регулярно.

Начните с определения 5 ключевых функций, используемых вашей основной аудиторией. Эти 5 функций являются тем, что заставляет пользователей возвращаться. В идеале, пользователи должны применять все эти ключевые функции.

1-CA2ngZhs93VM76zJhonK5A

Эффективность

Юзабилити – это ключ к сохранению пользователей, а конечная цель любого продукта – это наличие возможности использовать его максимально быстро, просто, и правильно.

Чтобы измерить эффективность продукта, просто взгляните на некоторые из его рабочих потоков – что угодно, от регистрации или онбординга, до активации новых функций – и измерьте, как далеко пользователь проходит по этому потоку, до того, как уйдет. Установите определенные цели для каждого из этих потоков.

1-50brwC6UQm56ccAfSc-7mg

Пользователь, непонимающий продукт, или его интерфейс – это ваша неудача.

 

Удовлетворенность

То, что ваши клиенты говорят о вашем продукте, так же важно, как и их поведение.

Если клиент не готов рекомендовать ваш продукт – его нельзя назвать успешным.

Вы можете превратить качественную реакцию, например, удовлетворенность, в качественную метрику, используя опросы.

Индекс лояльности широко применяется в качестве эффективного инструмента измерения удовлетворенности клиентов.

Какая из приведенных выше метрик наиболее важна, зависит от вашего продукта. Это не обязательно должны быть все 5, но одна или несколько, скорее всего, сумеют продемонстрировать успешность вашего продукта.

Источник: hackernoon.com

uxgu.ru

как не запутаться в метриках продукта, процесса и счастья команды / Habr

Сегодня моя цель – коротко рассказать о подходах data-informed продуктового менеджмента, который я исповедую и попытаться заинтересовать вас в использовании его базовых инструментов в ваших продуктах.

Короткий дисклеймер – я пришла в продуктовую разработку из проектного менеджмента в аутсорсе. Для меня стало неожиданностью, что в то время как продуктовым метрикам уделяется пристальное внимание, процессные и командные часто незаслуженно уходят на задний план.

Для себя я сформулировала, что измерения успешности продукта состоит из трех блоков:

— счастье пользователей;
— успешность (качественная и количественная) итераций и релизов;
— счастье команды.

Счастье пользователей

Часто его мы пытаемся измерить так подробно и со стольких сторон, что анализ полученной информации превращается в настоящую пытку.

Поэтому в проектах мы попробовали использовать легковесный фреймворк HEART и подход Цели-Сигналы-Метрики, который придумали ребята из Google, и который здорово помогает сфокусироваться на по настоящему важных для UX продукта вещах.

HEART разделяет все метрики на 5 категорий


Happiness (Счастье)
К метрикам счастья относятся, к примеру:
— пользовательское удовлетворение;
— ощущение, что продуктом легко пользоваться;
— net promoter score.

Engagement (Вовлечение)
К примеру:
— количество визитов пользователя в неделю;
— количество фото, загружаемых юзером в день;
— количество лайков и шэров.

Adoption (Принятие)
К принятию можно отнести:
— обновления до новой версии;
— созданные пользователем подписки;
— покупки сделанные новыми пользователями в приложении.

Retention (Возвращаемость)
Конкретными метриками здесь могут быть:
— количество пользователей, остающихся активными с течением времени
— churn
— повторные покупки

Task Success (Успех ключевых задач)
Ключевыми задачами могут, к примеру быть:
— успешные поиски;
— время загрузки фотографии;
— полностью заполненный пользователем профиль.

Необязательно пытаться придумать важные для вашего продукта метрики во всех этих категориях. HEART — о том, чтобы выбрать 1 или 2 по настоящему важных и на какой-то период сконцентрировать внимание именно на них.

К примеру, в энтерпрайз продукте, который пользователи так или иначе должны использовать каждый день, вовлечение может быть не так важно. Зато счастье и успех ключевых задач – это то, на чем стоит сконцентрироваться как минимум на стартовом этапе.

HEART позволяет легко «конвертировать» важные для вас категории в значимые метрики, которые можно непосредственно отслеживать.

Все, что вам нужно, это начать не с брейнсторминга интересных штук, которые вы бы хотели трекать в проекте или который позволяет отслеживать новая хитрая система продуктовой аналитики. Вам нужно начать с более высокоуровневых штук: определиться, какие цели преследует ваш проект.

Goals-Signals-Metrics


Как бы капитански это не звучало, иногда бывает не так просто сформулировать цели продукта, с которыми однозначно согласна вся команда, и в этом неплохо помогает HEART. Также здесь важно не допустить типичную ошибку – не формулировать цели в терминах уже существующих метрик.

К примеру, одна из наших целей в моем текущем продукте – заинтересовать пользователей рекомендациями и сделать так, чтобы они проводили в их изучении больше времени.

Часто одной цели могут потенциально подходить несколько сигналов, поэтому на этапе их определения полезно поанализировать и понять, какие из них легче или сложнее трекать, какие более чувствительны к изменениям в вашем продукте и определить оптимальный для вашей цели.

Сигнал в этом случае – количество времени, которое пользователи взаимодействуют с рекомендациями. Метрика – это количество минут на пользователя, потраченных на изучение рекомендаций.

Описанный процесс помогает естественным образом приоритезировать метрики и избавиться от лишнего шума в ваших измерениях. Это своеобразная бритва Оккама, которая со стороны выглядит очень тривиальной, но часто наталкивает на неожиданные выводы и действия.

А как же процесс?

Но измерения продукта, – это еще не все. И хотя HEART дает многое для того, чтобы понять, как сделать продукт лучше для наших пользователей, для долгосрочной успешной работы нам не хватает понимания того, все ли у нас хорошо с процессом и командой.

Часто в продуктах я сталкиваюсь с тем, что эти вопросы замалчиваются, потому что вроде бы все и так неплохо, у людей горят глаза, мы тут делаем классную штуку, да и вообще это все какое-то старперство.

Но в любых системах склонна накапливаться энтропия. И если сегодня вы поставляете на рынок классный продукт, но не думаете о том, почему каждый ваш релиз происходит чуть дольше, чем предыдущий, а люди начали уходить с работы чуть раньше, в вашем проекте может зреть бомба замедленного действия.

Очередная жуткая тривиальность, о которой все знают, но которую очень легко игнорировать: time-to-market, скорость реакции на рынок и действия конкурентов критично важны для успеха продуктов.
Отсутствие внимания к тому, как развивается ваш технический долг, насколько успешны ваши итерации, какие стратегические проблемы копятся в вашем процессе, приводят к тому, что ваши проекты превращаются в попытку запрыгнуть в уходящий трамвай.

Мой маленький бутстрап процессных метрик состоит из трех частей. Их легко мерить, и если вы еще не делаете этого, я призываю вас попробовать подумать над собственным набором метрик, которые отражают прозрачность и здоровье вашего процесса. Конкретные примеры метрик могут не соответствовать тому, что важно измерять в вашем проекте, поэтому будьте осторожны с буквальным применением этого блока.

Количественные метрики релиза
Тут все просто. Чтобы понять, как у вас дела, достаточно мерить скорость vs качество вашей работы.

Метрикой скорости может служить непосредственно скорость команды или составная метрика: пользовательские истории, сделанные в течение этой итерации/не завершенные, но запланированные/перенесенные в следующую итерацию.

Метриками, отражающими не ущемляете ли вы качество в ущерб скорости могут быть:
— количество дефектов, найденных за итерацию/vs пробравшихся в итоге на продакшн
— распределение дефектов по типам/компонентам и источникам

К тому же такая штука здорово помогает на раннем этапе вылавливать технологические риски проекта.

Мне довелось работать в проекте, где основным источником дефектом стал внешний компонент, использовавшийся командой. В тот момент, когда это обнаружили, – он был просто досадной неприятностью, и от него решили избавиться, чтобы не портить статистику.

Где-то через полгода было довольно печально наблюдать за соседними командами, которые начали в спешке отказываться от этого компонента, который к тому времени превратился для многих в настоящий блокер к дальнейшему развитию продуктов.

Качественные метрики релиза
— отношение количества сделанных пользовательский историй к общему числу историй в проекте;
— отклонение от запланированной даты релиза;
— технический долг.

Наверняка многие из вас сталкивались с проектами, о которых говорят, что «да это легче с нуля написать, чем поддерживать». Виной этому часто технический долг, разроссшийся до невероятных размеров. Если вы не знаете о нем и не менеджите его сегодня, вполне возможно, что завтра он сделает вам больно. Это кажется потрясающе очевидным в engineering-centered компаниях, но я видела столько случаев, когда бизнес и продукт настолько доминируют над здоровыми инженерными практиками, что нельзя было не упомянуть этот пункт.

И, наконец, качественные метрики.
В первую очередь – это простой список того, что было хорошо, что стоит улучшить. Тут важно сказать, что это не просто метрика, которую надо отслеживать. Это процесс непрерывных улучшений, который нужно постараться внедрить на своем проекте. Если мы постоянно не стараемся стать лучше, то постепенно мы становимся чуть хуже, чем были раньше. Как минимум потому что окружающий мир не стоит на месте.

Список того, что стоит улучшить может включать в себя абсолютно любые вещи, – от добавления в ваш код стайл новых гайдов до покупки удобных стульев для команды. И это не просто – собрались, поговорили и разошлись, – а план конкретных действий, которые нужно сделать для улучшения.

Team is the King

И о последней, самой важной, как на мой взгляд, части отличного продукта.
Простой тест – знаете ли вы, что заставляет каждого человека из вашей команды каждое утро приходить на работу? А знаете ли, что заставляет сцеплять зубы и думать «как же они меня достали, еще раз и пойду писать заявление»?

Если вы, как и я, считаете, что без мотивированной и удовлетворенной команды продукт в долгосрочной перспективе не может стать полностью успешным, то самое время разобраться с этими вопросами.

Каждый раз, когда я говорю подобные штуки, люди начинают спрашивать, – «Ну и как узнать такие интимные вещи? А вдруг мой коллега хочет уйти из нашей большой компании в тех стартап или скопить денег и переехать в Таиланд? Как же он мне об этом расскажет?»

Но ведь вы, правда, не хотите узнать об этом в тот момент, когда он положит заявление на стол? Поэтому я предлагаю начать с анкеты, которую разработал Макс Ландсберг и которая позволяет получить кучу важной информации, о том, что драйвит и расстраивает вашу команду, и дальше понять, что с этим делать. И обязательно прочитайте «Motivate Me Right» Стаса Давыдова, если по какой-то причине вы этого еще не сделали.

Обратная связь

В любом продукте на разных этапах развития мы стремимся получить максимум фидбека от пользователей. Он служит своеобразной путеводной звездой и часто помогат понять, на правильном ли мы пути.

Личный профессиональный фидбек внутри команды – это такая же путеводная звезда. Если вы регулярно не получаете фидбек о вашей работе от вашей команды и не даете его тем людям, с которыми вы вместе создаете продукт, в вашем продукте могут копиться проблемы, которые вы даже не осознаете.

На одном из проектов мне довелось наблюдать за уходом талантливейшего разработчика.

Забавно, но о нем никто из менеджмента за 2 года работы не узнал, что этот парень по настоящему нуждался в профессиональном признании, очень трепетно относился к выступлениям на конференциях, наставничеству новичков, участии в оупенсорсных проектах. Участие в конференциях все время откладывалось, то дедлайны в проектах, то денег маловато, чтобы поехать на Java Day где-то в штатах, и через 2 года он не выдержал и ушел работать в крупную компанию tech евангелистом.

Я уверена, этому разработчику было что сказать своим менеджерам в качестве фидбека. И таких примеров море. Фидбек помогает получить и дать важную для развития и сохранения команды информацию, и ею не стоит пренебрегать. Вы можете пойти еще дальше и попробовать собирать фидбек на уровне нескольких команд или большого проекта. Почитайте, как это делает Valve, это вовсе не так сложно, как может показаться.

Итого


1. Работая с продуктом, помните, что данные – это всего лишь инструмент. Ориентируйтесь на цели, а не на циферки в статистике.
2. Не забывайте, что ваш продукт зависит и от здоровья ваших процессов. Они заслуживают вашей любви и внимания.
3. Команда заслуживает их еще в большей степени. И даже если в вашей компании описанными мной вещами занимается hr или функциональный руководитель, вы должны быть тем человеком, которому действительно важно, что на этом фронте у вас все хорошо.

habr.com

В чём мерить будем? Как выбрать правильные ML-метрики под задачи бизнеса

Сегодня одним из главных препятствий на пути внедрения машинного обучения в бизнес является несовместимость метрик ML и показателей, которыми оперирует топ-менеджмент. Аналитик прогнозирует увеличение прибыли? Но ведь нужно понять, в каких случаях причиной увеличения станет именно машинное обучение, а в каких — прочие факторы. Увы, но довольно часто улучшение метрик ML не приводит к росту прибыли. К тому же иногда сложность данных такова, что даже опытные разработчики могут выбрать некорректные метрики, на которые нельзя ориентироваться.

Давайте рассмотрим, какие бывают метрики ML и когда их целесообразно использовать. Разберём типичные ошибки, а также расскажем о том, какие варианты постановки задачи могут подойти для машинного обучения и бизнеса.

ML-метрики: зачем их так много?


Метрики машинного обучения весьма специфичны и часто вводят в заблуждение, показывая хорошую мину при плохой игре хороший результат для плохих моделей. Для проверки моделей и их совершенствования нужно выбрать метрику, которая адекватно отражает качество модели, и способы её измерения. Обычно для оценки качества модели используют отдельный тестовый набор данных. И как вы понимаете, выбор правильной метрики — задача сложная.

Какие задачи чаще всего решаются с помощью машинного обучения? В первую очередь это регрессия, классификация и кластеризация. Первые две — так называемое обучение с учителем: есть набор размеченных данных, на основе какого-то опыта нужно предсказать заданное значение. Регрессия — это предсказание какого-то значения: например, на какую сумму купит клиент, какова износостойкость материала, сколько километров проедет автомобиль до первой поломки.

Кластеризация — это определение структуры данных с помощью выделения кластеров (например, категорий клиентов), причём у нас нет предположений об этих кластерах. Этот тип задач мы рассматривать не будем.

Алгоритмы машинного обучения оптимизируют (вычисляя функцию потерь) математическую метрику — разность между предсказанием модели и истинным значением. Но если метрика представляет собой сумму отклонений, то при одинаковом количестве отклонений в обе стороны эта сумма будет равна нулю, и мы просто не узнаем о наличии ошибки. Поэтому обычно используют среднюю абсолютную (сумма абсолютных значений отклонений) или среднюю квадратичную ошибку (сумма квадратов отклонений от истинного значения). Иногда формулу усложняют: берут логарифм или извлекают квадратный корень из этих сумм. Благодаря этим метрикам можно оценить динамику качества вычислений модели, но для этого полученный результат нужно с чем-то сравнить.

C этим не возникнет сложностей, если уже есть построенная модель, с которой можно сравнить полученные результаты. А что если вы в первый раз создали модель? В этом случае часто используют коэффициент детерминации, или R2. Коэффициент детерминации выражается как:

Где:
R^2 — коэффициент детерминации,
et^2 — средняя квадратичная ошибка,
yt — верное значение,
yt с крышкой — среднее значение.

Единица минус отношение средней квадратичной ошибки модели к средней квадратичной ошибке среднего значения тестовой выборки.

То есть коэффициент детерминации позволяет оценить улучшение предсказания моделью.

Иногда бывает, что ошибка в одну сторону неравнозначна ошибке в другую. Например, если модель предсказывает заказ товара на склад магазина, то вполне можно ошибиться и заказать чуть больше, товар дождётся своего часа на складе. А если модель ошибётся в другую сторону и закажет меньше, то можно и потерять покупателей. В подобных случаях используют квантильную ошибку: положительные и отрицательные отклонения от истинного значения учитываются с разными весами.

В задаче классификации модель машинного обучения распределяет объекты по двум классам: уйдет пользователь с сайта или не уйдет, будет деталь бракованной или нет, и т.д. Точность предсказания часто оценивают как отношение количества верно определенных классов к общему количеству предсказаний. Однако эту характеристику редко можно считать адекватным параметром.


Рис. 1. Матрица ошибок для задачи предсказания возвращения клиента

Пример: если из 100 застрахованных за возмещением обращаются 7 человек, то модель, предсказывающая отсутствие страхового случая, будет иметь точность 93%, не имея никакой предсказательной силы.


Рис. 2. Пример зависимости фактической прибыли компании от точности модели в случае разбалансированных классов

Для каких-то задач можно применить метрики полноты (количество правильно определенных объектов класса среди всех объектов этого класса) и точности (количество правильных определенных объектов класса среди всех объектов, которые модель отнесла к этому классу). Если необходимо учитывать одновременно полноту и точность, то применяют среднее гармоническое между этими величинами (F1-мера).

С помощью этих метрик можно оценить выполненное разбиение по классам. При этом многие модели предсказывают вероятность отношения модели к определенному классу. С этой точки зрения можно изменять порог вероятности, относительно которого элементы будут присваиваться к одному или другому классу (например, если клиент уйдёт с вероятностью 60 %, то его можно считать остающимися). Если конкретный порог не задан, то для оценки эффективности модели можно построить график зависимости метрик от разных пороговых значений (ROC-кривая или PR-кривая), взяв в качестве метрики площадь под выбранной кривой.


Рис. 3. PR-кривая

Бизнес-метрики


Выражаясь аллегорически, бизнес-метрики — это слоны: их невозможно не заметить, и в одном таком «слоне» может уместиться большое количество «попугаев» машинного обучения. Ответ на вопрос, какие метрики ML позволят увеличить прибыль, зависит от улучшения. По сути, бизнес-метрики так или иначе привязаны к увеличению прибыли, однако нам почти никогда не удаётся напрямую связать с ними прибыль. Обычно применяются промежуточные метрики, например:
  • длительность нахождения товара на складе и количество запросов товара, когда его нет в наличии;
  • количество денег у клиентов, которые собираются уйти;
  • количество материала, которое экономится в процессе производства.

Когда речь идёт об оптимизации бизнеса с помощью машинного обучения, всегда подразумевается создание двух моделей: предсказательной и оптимизационной.

Первая сложнее, её результаты использует вторая. Ошибки в модели предсказания вынуждают закладывать больший запас в модели оптимизации, поэтому оптимизируемая сумма уменьшается.

Пример: чем ниже точность предсказания поведения клиентов или вероятности промышленного брака, тем меньше клиентов удаётся удержать и тем меньше объём сэкономленных материалов.

Общепринятые метрики успешности бизнеса (EBITDA и др.) редко получается использовать при постановках задач ML. Обычно приходится глубоко изучать специфику и применять метрики, принятые в той сфере, в который мы внедряем машинное обучение (средний чек, посещаемость и т.д.).

Трудности перевода


По иронии судьбы удобнее всего оптимизировать модели с помощью метрик, которые трудно понять представителям бизнеса. Как площадь под ROC-кривой в модели определения тональности комментария соотносится с конкретным размером выручки? С этой точки зрения перед бизнесом встают две задачи: как измерить и как максимизировать эффект от внедрения машинного обучения?

Первая задача проще в решении, если у вас есть ретроспективные данные и при этом остальные факторы можно нивелировать или измерить. Тогда ничто не мешает сравнить полученные значения с аналогичными ретроспективными данными. Но есть одна сложность: выборка должна быть репрезентативна и при этом максимально похожа на ту, с помощью которой мы апробируем модель.

Пример: нужно найти самых похожих клиентов, чтобы выяснить, увеличился ли у них средний чек. Но при этом выборка клиентов должна быть достаточно большой, чтобы избежать всплесков из-за нестандартного поведения. Эту задачу можно решить с помощью предварительного создания достаточно большой выборки похожих клиентов и на ней проверять результат своих усилий.

Однако вы спросите: как перевести выбранную метрику в функцию потерь (минимизацией которой и занимается модель) для машинного обучения. С наскока эту задачу не решить: разработчикам модели придётся глубоко вникнуть в бизнес-процессы. Но если при обучении модели использовать метрику, которая зависит от бизнеса, качество моделей сразу вырастает. Скажем, если модель предсказывает, какие клиенты уйдут, то в роли бизнес-метрики можно использовать график, где по одной оси отложено количество уходящих, по мнению модели, клиентов, а по другой оси — общий объём средств у этих клиентов. С помощью такого графика бизнес-заказчик может выбрать удобную для себя точку и работать с ней. Если с помощью линейных преобразований свести график к PR-кривой (по одной оси точность, по второй полнота), то можно оптимизировать площадь под этой кривой одновременно с бизнес-метрикой.


Рис. 4. Кривая денежного эффекта

Заключение


Прежде чем ставить задачу для машинного обучения и создавать модель, нужно выбрать разумную метрику. Если вы собираетесь оптимизировать модель, то в качестве функции ошибок можно использовать одну из стандартных метрик. Обязательно согласуйте с заказчиком выбранную метрику, её веса и прочие параметры, преобразовав бизнес-метрики в модели ML. По длительности это может быть сравнимо с разработкой самой модели, но без этого не имеет смысла приступать к работе. Если привлечь математиков к изучению бизнес-процессов, то можно сильно уменьшить вероятность ошибок в метриках. Эффективная оптимизация модели невозможна без понимания предметной области и совместной постановки задачи на уровне бизнеса и статистики. И уже после проведения всех расчётов вы сможете оценить полученную прибыль (или экономию) в зависимости от каждого улучшения модели.

Николай Князев (iRumata), руководитель группы машинного обучения «Инфосистемы Джет»

habr.com

Как выбрать правильные метрики для продукта


Вы читаете перевод статьи “Critical metrics every product manager must track”. Над переводом работали: Ольга Жолудова и Ринат Шайхутдинов.

Количественные данные сейчас очень горячая тема: цифры стали не просто полезны, с ними есть уверенность в правильности того, что делаешь. А еще, с ними комфортно и есть ощущение контроля. Цифры уже как наркотики.

Кстати, хотите отжечь на ближайшей планерке? Просто откройте график и громко скажите: «У меня есть цифры!». А если будете делать это регулярно, то вас, скорее всего, повысят. Ну конечно, при условии что вы не топите компанию. Ладно, хватит шуток. Поехали!

С помощью современных инструментов вы можете собрать о ваших пользователях все, и даже больше. Столько, что можно даже свихнуться. И в итоге принять совсем неверное решение, просто перегрузив свой мозг огромным потоком цифр.

Интересуетесь свежими статьями по дизайну? Вступайте в группу на Facebook.

Этот пост – попытка снизить шум и сэкономить время тем, кто все еще в раздумьях о показателях, которые помогут понять, здоров ли продукт. В этой статье вы найдете список метрик сгруппированных по трем категориям: вовлечение пользователей, бизнес-показатели и сервис.


Метрики вовлечения пользователей

1. Количество сеансов на пользователя (Sessions per user)

Это первая метрика, которая подскажет как пользователи работают с вашим продуктом. Отслеживайте, как часто пользователи заходят в приложение или открывают его.

Совет: избегайте средние (averages), а используйте медианы (medians), так как они менее чувствительны к выбросам и дают более надежную статистику.

2. Продолжительность сессии для когорты (Session duration for a cohort), с течением времени

Сколько времени проводит в вашем приложении каждая новая когорта пользователей? Снова измеряйте медианы.

Подсказка: сравните среднюю продолжительность сеанса для тех, кто утек (churned) и тех, кто все еще с вами (retained). (Например, тех, кто утек за последние 30 дней, и тех, кто остался.

3. Количество ключевых действий пользователя за сеанс (key user actions per session)

Выберете действия пользователя, которые наиболее важны (например, нажатие на кнопку “Like”), а затем отслеживайте их с течением времени для различных когорт пользователей.

Совет: сравните отличия в метриках между теми, кто утек (churned) и теми, кто еще с вами (retained). Сделайте t-тест.

Pro: всегда используйте когортный анализ. Так вы сможете наблюдать различия в поведении пользователей с течением времени.


Бизнес-метрики

1. LTV, или пожизненная ценность клиента (Customer Lifetime Value)

LTV – это чистая прибыль, которую вы получите от клиента, прежде чем он перестанет платить.

Распространенная ошибка: Многие компании рассчитывают прибыль (Revenue), вместо LTV. Рассчитайте LTV правильно, для этого вычтите стоимость обслуживания клиента (cost of servicing a customer): зарплата саппорта, затраты на сервера и так далее.

Совет: Если вы хотите развивать продукт по правильному, договоритесь с командой насчет методики расчета LTV.

2. CAC, or Customer Acquisition Cost

Возьмите все затраты на привлечение клиентов (marketing costs), а затем разделите на количество платящих клиентов (paying customers), привлеченных за конкретный период времени.

Другой способ вычислить CAC – это сложить зарплаты маркетологов на привлечение, комиссии сейлзов (sales reps) и т. д. Так вы еще и учтете скорость сгорания ресурсов (burn rate). LTV и CAC важные показатели в экономике стартапов, их обычно измеряют как отношение LTV/CAC.

Benchmark: Для SaaS стартапов отношение LTV/CAC должно быть 3 и выше.

3. ARPA, или Average Revenue per Account

ARPA – это ежемесячный «контракт» с клиентом или пользователем. Проще говоря, это то, какую сумму платит вам каждый месяц рядовой клиент.

Если ваши цены не скачут, то растущий ARPA означает, что вы с командой движетесь в верном направлении, и наращиваете ценность, а не просто пилите фичи. Поэтому ваш доход (revenue) все больше и больше.

Совет: попробуйте увеличить ARPA без изменений в продукте или игры с ценами. Например, улучшить саппорт, подкрутив маркетинг или внедрив брендинг.

4. MRR или ежемесячный повторяющийся доход (Monthly Recurring Revenue)

MRR – это доход компании в месяц. Стабильный и предпочтительно нелинейный рост MRR – это лучший способ сделать ваших инвесторов счастливыми.

Pro: попробуйте порадовать инвесторов.

5. Customer churn (Отток клиентов) и Revenue churn (Отток доходов)

Customer churn (Отток клиентов) – это % от платящих пользователей, который вы теряете каждый месяц. Существует два способа расчета: по когортам и общий. Как правило, отток по когортам будет высоким, поэтому его важно отслеживать.

Пример:

Январь: 20 клиентов

Февраль: 18 клиентов

Customer churn = (20 — 18) / 20 = 2 / 20 = 10%

Customer churn подсказывает насколько хорошо вы удерживаете клиентов.

Revenue churn (отток доходов) – % дохода, который компания теряет в месяц из-за оттока (churn) или возвратов на прошлый тариф (downgrades).

Пример:

Январь: 20 клиентов * $200 = $4000 MRR

Февраль: 18 клиентов * $200 = $3600 MRR

Revenue churn = (4000 — 36000) / 4000 = 400 / 4000 = 10%

Revenue churn подсказывает насколько хорошо вы зарабатываете.

Примеры выше были простые, сейчас разберем более интересную ситуацию:

Пример: у нас 3 новых клиента, каждый платит по $200 в месяц.

Январь: $200 + $200 + $200 = $600 MRR

Пришел февраль, и у нас утек 1 клиент

Февраль: $200 + $200 + $0 = $400 MRR

Теперь у нас всего 2 клиента, но мы переключили их на тариф подороже на $150

Февраль: $350 + $350 + $0 = $700 MRR

Customer churn = (3 — 2) / 3 = 1 / 3 = 33%

Revenue churn = (600 — 700) / 600 = -100 / 600 = -17%

Если рассматривать эти метрики по отдельности, то получится противоречие. Кажется что Customer churn в 33% – это просто ужасно и кажется что и MRR (ежемесячный доход) упал за ним следом.

А с другой стороны Revenue churn отрицательный, а значит мы увеличили MRR несмотря на потерю клиента. Все благодаря повышению тарифов (Upselling).

Совет: меньше обращайте внимания на Customer churn и больше следите за Revenue churn. Лучше обслуживать меньше клиентов готовых платить, чем работать с кучей и есть арахис.

Даже низкий отток может стать серьезной проблемой, поэтому отслеживайте этот показатель.

Используйте мощь Upselling (предлагайте дополнительные услуги, функции), это поможет бороться с последствиями оттока клиентов.

Тест: У SaaS-стартапов Customer churn должен быть ниже 2%. А Revenue churn отрицательный.

6. Retention rate (Удержание клиентов)

Мой опыт подсказывает, что уровень удержания не так полезен как Churn Rate. Но следить за ним, безусловно нужно. В этой статье вы можете подробнее почитать о нем: Метрики продукта: когда пора думать про retention?


Служба поддержки

1. Количество входящих тикетов

Чем больше проблем у пользователей с вашим продуктом, тем больше тикетов они отправляют. Если вы только что что-то зарелизились, и количество тикетов подскочило, возможно у вас что-то не так с продуктом.

2. Net Promoter Score (NPS)

NPS помогает оценить удовлетворенность клиентов. Однако, прежде чем полагаться на NPS в принятии решений, вы должны знать, что это не научно обоснованная метрика.

Например, мета-анализ от Keiningham, не нашли подтверждений, что NPS как-то отражает способность компании к росту (A Longitudinal Examination of Net Promoter and Firm Revenue Growth, Journal of Marketing, 2007, American Marketing Association).

Совет: Высокий NPS – это не самоцель. Вместо того, чтобы наблюдать за его ростом, попробуйте обратиться к промоутерам и собрать у них отзывы. Это в разы полезнее для роста.

Метрики выше только табличка на двери в мир управления данными. Если вы хотите использовать данные правильно, хотите экспериментировать с различными способами анализа различных возможностей вашего продукта, на разных этапах его жизненного цикла, старайтесь придерживаться только следующего правила:

Если к чему-то приклеили цифру, это еще не значит, что оно стало правдой, получило обоснование или подтвердило свою полезность.


Если у вас есть на примете какая-нибудь классная статья по UX и не только — скиньте нам ссылку, и мы будем рады над ней поработать.

Нас можно найти в Facebook: Ольга Жолудова и Ринат Шайхутдинов.

ux-journal.ru

33 метрики сайта, показатели лояльности, поведенческие факторы

Самая главная метрика всея маркетинга — ROI. Это показатель рентабельности вложений в рекламу. Но единственная ли это метрика, которую нужно отслеживать? Проверим.

Первое правило клуба маркетологов: «Измерить можно всё». Второе правило клуба маркетологов: «Если не получается что-то измерить, смотрите первое правило».

Если бы все метрики интернет-маркетинга можно было пересчитать по пальцам, жить было бы гораздо проще. Однако о многих из них вы даже не догадываетесь. А между тем, они существенно влияют на вашу прибыль. В этой статье вы найдете 33 актуальные метрики, о которых стоит знать каждому маркетологу. Плюс вас ждет приятный бонус — возможность автоматически посчитать метрики для вашего сайта.

Метрики, отслеживающие поведение пользователей на сайте

Total Visits

Total Visits — общее количество посещений сайта в отчётный период. Банально? Да. Но от этого метрика не становится менее важной. Следите, чтобы посещаемость сайта планомерно увеличивалась. Ежемесячный рост — показатель качества товара/услуги и грамотной работы отдела маркетинга. Посмотреть Total Visits можно в системах статистики (Яндекс.Метрика, Google Analytics). Например, в Google Analytics он находится в разделе «Источники трафика» > «Обзор».

BR

BR — bounce rate — показатель отказов. Это доля посетителей, которые покинули сайт сразу, как только перешли на него, т. е. в рамках визита они просмотрели лишь одну страницу (в Яндекс.Метрике, например, отказ засчитывается, если пользователь был на сайте менее 15 секунд, в Google Analytics продолжительность сеанса с просмотром одной страницы всегда считается равной 0 секунд и является отказом).

Если тематика вашего сайта предполагает быстрое совершение целевого действия (например, когда посетитель заходит на первую страницу сайта и заказывает пиццу по телефону), высокий показатель BR не критичен. В других случаях чем bounce rate выше, тем больше вопросов нужно задать рекламщику.

Как уменьшить показатель отказов на сайте?

Проанализируйте ситуацию, посмотрите, зависит ли bounce rate от конкретного канала или, например, определенных страниц. Убедитесь, что ваша реклама соответствует контенту на сайте. Удобство навигации, параметры ресурса, вроде скорости загрузки страниц, тоже не мешает проверить.

Где посмотреть bounce rate?

Общий показатель отказов для сайта можно найти, например, в Google Analytics в разделе «Аудитория» > «Обзор». Показатель отказов для каждой группы каналов — в разделе «Источники трафика» > «Весь трафик» > «Каналы».

PPV

PPV — pages per visit — это глубина просмотра сайта, т. е. количество страниц, просмотренных за одно его посещение. Отражает заинтересованность посетителей в контенте ресурса. В редких случаях —свидетельствует о проблемах с навигацией, когда пользователям приходится долго переходить по разным вкладкам, чтобы найти то, что нужно. Этот фактор тесно связан с временем, которое пользователь проводит на сайте. Чем больше он находит интересных страниц, тем дальше пойдет по сайту и тем больше времени проведет на нем.

Как увеличить глубину просмотра сайта?

Улучшайте юзабилити, размещайте интересный контент, оптимизируйте страницы, добавляйте интерактивные элементы. Высокий PPV свидетельствует о высоком показателе лояльности пользователей к компании, что, в свою очередь, положительно влияет на конверсию.

Глубина просмотра сайта вычисляется счётчиком и отображается в системах статистики. Например, в Google Analytics — в отчёте «Аудитория» > «Поведение» > «Вовлечение».

TSS

TSS — time spent on site — время, проведённое пользователем на сайте. Этот ПФ (поведенческий фактор) учитывается поисковыми системами при ранжировании ресурса. Пользователь может обойти все страницы, но какой в этом толк, если он потратил на это 10 секунд? Небольшое время на сайте — показатель низкой вовлеченности посетителей. Выходит, ресурс неактуален и неинтересен для них. Как результат — выйти в топ вряд ли удастся. Вы же этого не хотите?

Как улучшить этот поведенческий фактор и мотивировать посетителей проводить на сайте как можно больше времени?

Создавайте интересный контент, который будет отвечать интересам пользователей, повышайте удобство сайта, делайте внутреннюю перелинковку. Все это поможет удержать клиентов.

TTS вычисляется счётчиком и дополняет картину, которую показывает PPV. Посмотреть этот показатель можно, например, в Google Analytics в разделе «Аудитория» > «Поведение» > «Вовлечение».

ER

ER — engagement rate — уровень вовлечения посетителей. Высокий уровень вовлечённости пользователей говорит о качестве и востребованности ресурса, что улучшает поведенческие факторы ранжирования сайта. ER рассчитывается как отношение количества действий на странице/сайте (скроллинг до N %, комментарии, заполнение формы и др.) к числу просмотров страницы/сайта (измеряется в процентах).

RV

RV — returning visitors — вернувшиеся пользователи. Почему важно повышать этот показатель? Вернувшиеся пользователи с большей долей вероятности совершат покупку/закажут услугу снова. Они ваша постоянная аудитория и помощники в развитии ресурса. Следите за их поведением, чтобы понять, верные ли изменения вы делаете на сайте. Новые пользователи отражают первое впечатление, вернувшиеся смотрят глубже и дают больше поводов для беспокойства (читай: совершенствования). RV вычисляется счётчиками статистики. Посмотреть этот показатель можно, например, в Google Analytics в разделе «Аудитория» > «Поведение» > «Новые и вернувшиеся».

VPK

VPK — visits per keyword — объем органического трафика, т. е. количество пользователей, перешедших на сайт из поисковых систем. SEO-специалистам этот показатель помогает корректировать стратегию продвижения, а вам — понимать, какой контент интересен аудитории и в каком направлении нужно двигаться.

Посмотреть VPK можно, например, в Google Analytics в разделе «Источники трафика» -> «Кампании» -> «Неоплачиваемые ключевые».

Churn rate

Churn rate — коэффициент оттока. Проще говоря, это процент пользователей, которые не возвращаются на сайт. Высокий коэффициент оттока — это фиаско! Выводы делайте сами: то ли контент неинтересный и не отвечает потребностям пользователей, то ли навигация неудобная, то ли просто пользователь, попавший на сайт, — не ваша ЦА. Вариантов масса. Главное — найти причину высокого коэффициента оттока и устранить ее.

Показатель рассчитывается как отношение разницы между количеством пользователей на начало отчётного периода и числом посетителей на конец отчётного периода к числу клиентов на начало месяца (измеряется в процентах).

Метрики, отслеживающие конверсию, лиды на сайте

CR

CR — conversion rate — уровень конверсии. Этот параметр определяет, сколько посетивших сайт пользователей впоследствии стали вашими клиентами, т. е. купили товары или заказали услуги. Это ключевая метрика всего, что вы делаете. Высокий уровень конверсии? Отлично, работаем дальше! Важно: не принимаются во внимание незавершенные действия (неоплаченный счет, недооформленный заказ и т. д.). CR рассчитывается как отношение общего количества посетителей ресурса к пользователям, которые выполнили желаемое действие (купили, скачали, подписались на рассылку и пр.).

LTV

LTV — lifetime value — суммарный доход, который вы получаете с одного клиента за всё время его взаимодействия с вашим брендом. Словом, это «пожизненная стоимость клиента». С помощью этого показателя можно определить эффективность средств, затраченных на маркетинг. LTV позволяет оценить, насколько интересны ваши товары или услуги, и при необходимости скорректировать стратегию удержания пользователей.

Формул расчёта этого параметра множество. Вот одна из них: отношение произведения среднего месячного дохода с одного клиента и средней маржи с одного клиента к месячному Churn Rate.

AOV

AOV — average order value — средний чек, т. е. сколько в среднем вы зарабатываете на одном заказе. Показатель AOV зачастую определяет ценообразование и расходы на рекламу. Он напрямую связан с выручкой: чем выше AOV, тем больше выручка.

Зарубежные маркетологи считают, что всех клиентов можно условно разделить на три сегмента: «высокий», «средний» и «низкий». Ваша задача — определить, к какому сегменту относятся большинство покупателей. Исходя из этого вы сможете определить эффективность маркетинговой политики и при необходимости скорректировать ее. AOV рассчитывается как отношение дохода к количеству заказов за определённый период.

LCR

LCR — lead-close rate — коэффициент закрытия лидов. Сколько людей были готовы купить/скачать/подписаться? А сколько сделали это в итоге и почему не 100 %? Ответы вам придётся найти самостоятельно, а вместе с ними увидеть все пробелы в рекламной кампании. Проводя ежемесячный расчет, вы поймете, насколько целевой трафик получаете и качественно ли обрабатывает заявки ваш отдел продаж. LCR рассчитывается как отношение количества клиентов за отчётный период к общему количеству лидов за отчётный период.

CRR

CRR — customer retention rate — коэффициент удержания клиентов, т. е. доля пользователей, которые остаются с вами или совершают повторные покупки. Отражает качество клиентского сервиса. CRR необходим для понимания поведения ваших клиентов, а также анализа эффективности бизнес-стратегии. С ростом коэффициента растёт и потенциал бизнеса. CRR рассчитывается как отношение разницы между количеством клиентов на конец отчётного периода и числом новых клиентов к числу клиентов в начале периода (измеряется в процентах).

RPR

RPR — repeat purchase rate — частота повторных покупок. Этот показатель сродни CRR, но отражает не только общее удовлетворение сервисом и поддержкой, но и самой услугой/товаром. На основании RPR обычно разрабатывают программы лояльности. RPR рассчитывается как отношение количества пользователей, которые приобрели товары или заказали услуги более одного раза за отчётный период, к общему числу покупателей.

PF

PF — purchase frequency — частота покупки. Показатель вычисляется только для определённых категорий товаров (которые есть смысл покупать часто) и отражает конкурентную ситуацию. Рассчитывается аналогично коэффициенту повторных покупок. Используя тот же временной отрезок, который вы выбрали для коэффициента повторных покупок, разделите общее число заказов на количество уникальных клиентов.

OGA

OGA — order gap analysis — средний промежуток времени между покупками пользователей. Эту метрику часто используют для построения стратегии email-маркетинга. Зная показатель OGA, вы сможете своевременно взаимодействовать с аудиторией. Главное в этом деле — не переусердствовать. OGA рассчитывается как отношение количества дней за отчетный период (например, 365 дней) к средней частоте покупок (PF) за этот же период.

NPS

NPS — net promoter score — индекс лояльности, который используется для определения удовлетворенности потребителей товаром, сервисом или брендом. Другими словами, это процент пользователей, готовых рекомендовать вашу продукцию. Как ни развивается маркетинг, как ни нативится реклама, а сарафанное радио остаётся самым убедительным инструментом. Чем больше пользователей настроятся на вашу волну, тем выше прибыль. NPS вычисляется с помощью опросов пользователей, по результатам которого их можно разделить на три группы:

  • промоутеры — лояльные клиенты, готовы рекомендовать;
  • нейтралы — клиенты, которые в целом удовлетворены, но имеют некоторые замечания, не будут рекомендовать;
  • критики — не удовлетворены, рекомендовать не будут. NPS рассчитывается как разница между долей промоутеров и долей критиков. Нейтралы в расчете NPS не участвуют.

Метрики, отслеживающие эффективность платных каналов

CPC

CPC — cost per click — стоимость клика на объект (баннер/кнопку на сайте/пост). Проще говоря, это деньги, которые вы платите за один клик на любой рекламной платформе. CPC дает понять, насколько целесообразно вкладывать деньги в тот или иной рекламный канал. Рассчитывается как отношение стоимости рекламной кампании к числу кликов.

RPC

RPC — revenue per click — доход с каждого клика по вашей рекламе. Сравнивая этот показатель с CPC, вы можете понять, как соотносятся затраты и выручка с одного клика. Например, если с виду кампания удачная, но RPC немного превышает CPC, стоит задуматься: почему кампания приносит вам не так много денег, как хотелось бы, и как можно ее улучшить. RPC рассчитывается как отношение всего дохода от рекламной кампании к общему количеству кликов в кампании.

COS

COS — cost of sale — средняя стоимость продажи. Это отношение между тем, сколько вы тратите и тем, сколько получаете. Если тратите больше, делайте выводы, друзья! Рекламная кампания явно нуждается в реанимации.

COS можно вычислять как по всей рекламной кампании для понимания общей картины, так и для каждого объявления, чтобы выявить наиболее эффективные из них. Показатель рассчитывается как отношение стоимости рекламной кампании к общей выручке с нее (измеряется в процентах).

CPA

CPA — cost per acquisition — стоимость привлечения пользователя. Проще говоря, эта та сумма, которую вы тратите на привлечение каждого нового посетителя с помощью конкретной рекламной кампании. CPA особенно важен, если у вас есть информация о жизненном цикле клиента. Даже если на первый взгляд рекламная кампания кажется неэффективной, но вы точно знаете, что клиенты потратят больше денег при второй и последующей покупке, можете позволить себе такую рекламу. В будущем это принесет вам прибыль. CPA рассчитывается как отношение расходов на одну рекламную кампанию к количеству заказов с нее.

CTR

CTR — click through rate — показатель кликабельности. CTR служит для оценки эффективности как отдельных объявлений (как много людей по ним переходят), так и площадок или рекламных кампаний в целом. Низкий процент кликабельности — показатель допущенных ошибок в настройках кампании. Проанализируйте, что не так, и исправьте ситуацию.

CTR рассчитывается как отношение количества кликов на объект (баннер/кнопку на сайте/пост) к общему количеству показов объекта (измеряется в процентах).

LPO

LPO — leads generated per offer — количество лидов, сгенерированных конкретным офером (предложением потенциальному покупателю). Иными словами, вы можете узнать, сколько пользователей оформили заказ, оставили заявку или совершили любые другие целевые действия после перехода на сайт с определенной рекламы. LPO вычисляется по каждому оферу, будь то предложение купить товар, зарегистрироваться на сайте, купить билет, для выявления наиболее оптимального. Чтобы понимать, какой офер какой результат принёс, достаточно размечать utm-метками все интересующие предложения. Посмотрев соответствующие данные в системах статистики, вы узнаете, какой офер сработал лучше.

ROAS

ROAS — return on advertising spent — возвращение затрат на рекламу с конкретного рекламного канала. Зная ROAS, вы можете понять, насколько окупаются расходы на рекламу. Однако не путайте этот показатель с ROI. ROAS отличается от ROI размером затратной части. В ROI в качестве затрат учитываются все затраты на маркетинг (например, создание сайта, разработка нового креатива для медийной рекламы и т. д.), а в ROAS — только затраты на рекламные каналы.

ROAS рассчитывается как отношение прибыли, полученной с рекламной кампании, к расходам на эту рекламную кампанию (измеряется в процентах).

Метрики, отслеживающие эффективность работы в соцсетях

OL

OL — organic likes — органический прирост аудитории. Это те люди, которые нашли вас в соцсетях самостоятельно и добровольно подписались на сообщество, без рекламного участия. Демонстрирует качество публикуемого контента и частично знание бренда.

Показатель рассчитывается соцсетью. Его можно посмотреть, например, в Facebook в разделе «Статистика» > «Подписчики» > «Чистая прибавка подписчиков» > «Органические подписчики».

AGR

AGR — audience growth rate — темп роста аудитории сообщества. Помогает понять, какой контент наиболее интересен аудитории. Лайк не показатель интереса. А вот новый человек, решивший присоединится к сообществу, вполне. AGR рассчитывается как отношение новых фоловеров к общему количеству подписчиков сообщества за отчетный период (измеряется в процентах).

CPF

CPF — cost per fan — цена за фоловера в социальных сетях. Проще говоря, это сумма, которую вы платите за каждого пользователя, привлеченного в сообщество. Если цена за фоловера слишком высока, стоит пересмотреть настройки рекламной кампании. Возможно, вы тратите намного больше на привлечение пользователей в соцсетях, чем в итоге получаете. Вычисляется как отношение затрат на привлечение аудитории к количеству новых фоловеров за отчётный период.

ERR

ERR — engagement rate by reach — уровень вовлечения по охвату. Отражает заинтересованность пользователей в контенте и показывает процент людей, которые проявили активность у определенной записи. Вычисляется как отношение общего количества реакций, комментариев и шеров по публикации к количеству пользователей, видевших публикацию.

AR

AR — amplification rate — коэффициент распространения. AR — наглядный показатель заинтересованности пользователей в теме конкретной публикации. Чем выше коэффициент распространения, тем больше людей видят ваши посты бесплатно. Создавайте вирусный контент, чтобы достигнуть высшего значения AR. Рассчитывается как отношение шеров за отчётный период к общему количеству опубликованных постов.

BER

BER — brand evangelists rate — доля адвокатов бренда. Проще говоря, это количество подписчиков, периодически и добровольно выступающих с исключительно позитивными заявлениями в адрес бренда (в том числе с целью его защиты) от общего числа подписчиков. Чем качественнее товар/услуга вкупе с активностью бренда в соцсетях, тем выше BER и тем мощнее сарафанное радио.

Time on site by SM

Time on site by SM — время на сайте, которое потратили пользователи, пришедшие из соцсетей. Показывает несколько моментов:

  • насколько контент в паблике соответствует контенту на сайте;
  • насколько точно подобрана аудитория паблика;
  • насколько контент на сайте интересный. Посмотреть весь трафик на сайт из социальных сетей можно, например, в Google Analytics в разделе «Источники трафика» > «Социальные сети».

Tone of mentions

Tone of mentions — тон упоминаний (например, @Ingate) в посте/статусе/комментарии. Какой он у вас? Позитивный или негативный? По отношению к конкурентам или обособленно? Сарафанное радио в офлайне — мощнейший инструмент. Мощнее него только сарафанное радио в соцсетях. Благо, мониторить упоминания сейчас проще простого: достаточно обращать внимание на всплывающие уведомления из соцсетей. Определите тон негативных упоминаний за определённый период, рассчитав отношение негативных @ к общему количеству упоминаний (измеряется в процентах).

Unlikes rate

Unlikes rate — процент отписок. Если от вашего аккаунта пользователи не отписываются, вам можно только позавидовать. Ведь это значит, что вы публикуете контент, релевантный бизнесу и аудитории одновременно; собираете исключительно целевую аудиторию. Так держать! Unlikes rate измеряется соцсетью. Посмотреть показатель можно, например, в Facebook в разделе «Статистика» > «Подписчики» > «Чистая прибавка подписчиков» > «Отписки».

Все посчитали? Сравнили показатели? Теперь вы точно знаете, насколько далеко (или не далеко) находитесь от поставленных целей. Следующий шаг — выбрать наиболее эффективный способ их достижения и определить тенденции развития вашего бизнеса. Успехов!

Источник: https://blog.ingate.ru/detail/33-metriki-digital-marketinga-kotorye-vsegda-aktualny/

kassa.yandex.ru

Отправить ответ

avatar
  Подписаться  
Уведомление о