Оптимизация интернет рекламы через эксперименты

Оптимизация интернет рекламы через эксперименты

Всем привет!

В одном из предыдущих постов мы обсуждали связку unit экономики и интернет-продвижения. Если unit показатели не радуют, то необходимо оптимизировать работу рекламных кампаний (продвижения) и продукта. Сегодня мы поговорим об оптимизации первого элемента (продвижения), а помогут нам в этом гипотезы и эксперименты.

Определения:

Маркетинговая гипотеза — обоснованное предположение о том, какие действия приведут к улучшению маркетинговых показателей.

Эксперимент — процесс проверки гипотезы с целью её подтверждения или опровержения.

Источники маркетинговых гипотез

Перед тем, как продолжить, ответим на важный вопрос: «Что должно являться источником для гипотез?»

Первый подход основан на том, чтобы предлагать варианты гипотез «из головы». Такой вариант является неэффективным.

Второй подход основан на тщательной аналитике/диагностике текущего состояния рекламных активностей с целью выявить «слабые» показатели. Именно по второму пути мы пойдём.

Алгоритм постановки маркетингового эксперимента

Рассмотрим пошаговый алгоритм оптимизации рекламных кампаний.

1.Найти метрику, изменения которой дают наибольший эффект.

2.Выдвинем гипотезы, которые приведут к оптимизации (уменьшению или увеличению) целевого показателя.

3.Постановка эксперимента на основе выставленных гипотез.

4.Анализ проведенного эксперимента и управленческие выводы.

Этап 1: Аналитика/аудит

На первом этапе ваша цель: провести всесторонний аудит ваших рекламных активностей. Задание номер раз. Распишите показатели вашей маркетинговой воронки. Обратите внимание на самые узкие места.

Узкое место — это метрика (показатель), который мешает вашему бизнесу работать в плюс, и в дальнейшем расти.

Прикиньте, насколько нужно улучшить показатель узкого места в вашей воронке, чтобы экономика проекта сошлась, то есть, чтобы вы перестали терять деньги и начали зарабатывать на пользователе.

Рассмотрим следующий условный пример привлечения пользователей в приложение Х.

Показы = 1 000 000

Клики = 1000

Установки = 100

Платящие пользователи = 10

Конверсии.

CTR = 0,1%

CRi (конверсия в установку) = 10%

CRp (конверсия в платящего пользователя) = 10%.

Посмотрим на цены целевого действия:

СPC = 10 рублей.

CPI (стоимость установки) = 100 рублей.

CAC (стоимость клиента)  = 1000 рублей.

Выпишем показатели прибыли:

ARPPU30 = 200 рублей

Profit = 100 рублей.

Payback period = 10 месяцев

LT = 5 месяцев.

Следовательно, чистый убыток в текущей модели составляет: -500 рублей. Пользователь не успевает вернуть вложенные в его привлечения средства и покидает приложения.

Примечания:

Цифра 30 возле показатели ARPPU показывает, за какой период мы взяли среднюю выручку на платящего пользователя за 30 дней.

Обратим внимание, что переход из показателя CPI => CAC происходит на уровне продукта. Поэтому, оптимизировать показатель цены клиента (пользователя,который совершил хотя бы 1 покупку) надо на уровне продукта.

Сформулируем проблему.

Проблема — это выявление слабой метрики, показатели которой нужно оптимизировать (увеличить или уменьшить).

Что в данном упрощенном примере является метрикой для оптимизации с точки зрения привлечения?

Мы условились не трогать уровень продукта. Поэтому пройдемся по процессу привлечения.

Первое на что, стоит обратить внимание — это на показатель СPC. Не слишком ли дорог для нас клик (или 1000 показов, если привлекаем пользователей по модели CPM)? Заметьте, что если мы снизим цену клика в 2 и более раз, то клиент, по крайней мере, вернет деньги за свое привлечение.

Но иногда дешевые клики приносят с собой новую головную боль в виде падения качества трафика, из-за чего падает конверсия в установку и платящего клиента.

На выступлениях я говорю, что качественный продукт имеет “иммунитет” от высокой цены клика/показа в том смысле, что он выдает настолько высокие конверсии, что, несмотря на дорогой клика/показ, цена установки и клиента выходит приемлемой для фин. модели/

Опустимся на уровень ниже и посмотрим, что можно сделать с показателем цены за установку.

Этап 2: Выдвижение гипотез

На данном этапе выдвинем гипотезы, которые с наибольшей вероятностью помогут улучшить целевую метрику. Вопрос, который мы должны задать себе звучит следующим образом: “Какие действия мы должны предпринять, чтобы метрика Х стала равна Y?

где:

X — это текущее состояние метрики.

Y — это состояние метрики, которое приведет вас в схождению вашей фин. модели.

В примере выше мы решили попробовать оптимизировать стоимость клика.

Как этого можно достичь? Во-первых, мы можем просто ручками снизить ставку за клик. Но, к чему может привести простое ручное снижение  ставки за клик в 2 раза? Правильно, к снижению количества трафика и, следовательно, потока потенциальных клиентов. Следовательно, такая оптимизация приведет нас к тому, что мы уложимся в финансовую модель, но не сможем развивать наш бизнес.

Совершенно по-другому выглядит ситуация в том случае, если мы снижаем среднюю цену клика за счет нахождения и запуска более дешевых источников трафика. Тогда мы не блокируем рост нашего бизнеса и при этом оптимизируем нашу бизнес-модель.

Теперь рассмотрим оптимизацию цены за установку (СPI).

Если мы не можем повлиять на цену клика, то мы должны оптимизировать значение конверсии из перехода на страницу приложения в установку (first open). Данный шаг тоже приведет к уменьшению значения CPI.

Как этого можно достичь? Нужно поработать со страницей приложения в сторе.

-Изменить заголовок приложения.

-Изменить иконку приложения.

-Изменить описание приложения.

-Изменить/добавить скриншоты.

-Изменить/добавить видео.

Каждое из этих изменений влияет на показатель конверсии в установку и, следовательно, на CPI. Небольшим ограничением в данном случае выступает то, что в реальной жизни добиться увеличения CR в 2 раза за один эксперимент будет довольно сложно.

Предположим, что мы решили добавить в него рекламное видео, полагая, что это увеличит CR.

Этап 3: Эксперимент

Постановка вообще любого эксперимента должна начинаться с вопроса: «Какую метрику мы оптимизируем с помощью данного эксперимента?»

В нашем примере мы хотим оптимизировать стоимость установки CPI через увеличение конверсии в установку СRi.

Определение критерия успешности эксперимента.

Как я и писал выше, изменение одного элемента едва ли сразу улучшит показатель в 2 раза. Поэтому, рекомендую поставить в качестве целевого ориентира оптимизацию СPI на 10%.

Критерий статистической значимости эксперимента.

Для понимания того, насколько репрезентативны результаты вашего эксперимента рекомендую проводить тесты с помощью специальных сервисов. В случае тестирования мобильного приложения можно воспользоваться встроенным инструментом Google Developer Console, если речь идет о тестировании приложения на Android.

Интерфейс сплит-тестирования в Google Developer console

Выделение выборок. Сколько пользователей брать в тест?

По данному вопросу можно написать отдельную заметку, поэтому здесь ограничусь описанием общего подхода. Чем больше у вас трафика, тем аккуратней надо подходить к тестированию и тем меньшую долю посетителей брать в тестовую выборку.

К примеру, если ваш сайт/страницу приложения посещает 100 человек, то выделить из нее хотя бы 10% для теста, означает потратить месяцы до получения репрезентативных результатов. И совсем другое дело, если сайт/страницу приложения посещают десятки тысяч человек в день.

Проверка внешних условий.

Во время проведения условий внешние условия на должны резко меняется. Конечно, при этом нужно понимать, что стерильных условий добиться нельзя.

Важные ограничения экспериментальной деятельности.

В лучшем случае срабатывает 1 гипотеза из 10. Не стоит опускать руки и прекращать эксперименты, если первые 2,5,7 экспериментов окончились неудачей.Первые тесты и эксперименты будут плохими. Это нормально.

В лучшем случае за месяц можно успеть проверить 3-4 гипотезы. Для получения значимых результатов на небольшой выборке трафика требуется время.

Всегда ли нужно сплит (А/Б) тестирование?

Нет. Если вещь является самоочевидной, то вы вполне можете проверить её просто внеся изменения на сайте. Если у вас большой трафик, то любое изменение, превратится для вас в сравнительное сплит тестирование, потому что никто не позволит вам раскатить изменение на многотысячной аудитории без сплит-тестирования.

Этап 4: Результаты и имплементация

Эксперимент считается законченным в тот момент, когда вы получили по нему статистически значимые результаты. Далее вы смотрите на то, насколько изменилась  метрика, которую вы пытались изменить через постановку эксперимента.

Затем вы снимаете показатели по всей воронке конверсий. Подбираете результаты и приступаете к формированию новых экспериментов. Всё, круг замкнулся.

Подытожим.

1.Начинать надо не с идей, а с анализа текущей ситуации.

2.При выборе показателя ориентируйте на интенсивное (качественное), а не экстенсивное (количественное) улучшение.

3.Оптимизация метрики не должна в дальнейшем наложить рост на ограничение бизнеса.

4.Результаты эксперимента должна быть репрезентативными.

5.Чем меньше проект, тем быстрее вы должны ставить и проводить эксперименты. Высший пилотаж — не растерять скорость экспериментов при росте проекта/продукта.

6.Оптимизация на уровне продукта крайней важна, пусть и тяжела.

7.При ликвидации одного узкого место возникает новое. Это нормально.

8.Любую рекламу/продукт можно улучшить.

Примечания.

Разумеется, данная статья была упрощена для лучшего понимания базовых шагов. Так из вариантов оптимизации была убрана смена УТП, смена рекламных визуалов, смена таргетинга (целевой аудитории), оптимизация геотаргетинга, временного таргетинга и т.д. На уровне оптимизации страницы мобильного приложения мы пренебрегли тем, оптимизация любого из элементов может привести к оптимизации выдачи и,следовательно, к оптимизации показателей eCPI и eCAC.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *