Big Data в маркетинге, или зачем украинское агентство выгружает 1 ТБ информации каждый день

Дмитрий Снигир, совладелец агентства newage., в своей колонке для AIN.UA рассказывает, как связать просмотры медийной рекламы с дальнейшими конверсиями и поделился дашбордом целостного анализа. По словам Дмитрия, дашборд основан на более 10 млрд показов и отражает шестилетний опыт аналитики в рекламе.

Главный вопрос любой аналитики — понять что и зачем анализировать. В этой статье я не буду грузить вас особенностям настройки интеграций или написания скриптов. Вместо этого расскажу, как мы в newage. формируем значимые показатели из базовых данных рекламных кабинетов. Вы можете «покрутить» метрики в интерактивном дашборде (доступ открывается по запросу), а затем создать аналогичную систему измерения медийных кампаний в своей компании.

В основе нашей работы лежит методика Целостного Анализа медийной рекламы. Она базируется на четырех принципах:

• контроль качества размещения; 
• оценка медийных метрик;
• оценка реакции аудитории на рекламу;
• agile-подход — внедрение изменений в зависимости от результата.

Во многих агентствах создание отчетов — сложный и трудоемкий процесс. Так было и у нас.

В 2019 году подготовка целостного отчета занимала полдня, и, поверьте мне, это было очень быстро, с учетом того количества данных, которые мы собирали.

Менеджеры заходили в каждый кабинет, где шел сбор данных: Google Ads, Facebook ads, DV360, Trade Desk, Google Analytics и прочие. Затем информацию копировали в таблицы Excel, где ее обрабатывали парой десятков макросов. По мере развития метода рабочие процессы становились сложнее, а отчетности — больше. Это сказывалось на трудозатратах, человеко-часах и стоимости для клиента.

Автоматизация отчетности стала особенно актуальна в 2020 году, когда никто не мог позволить себе лишних трат. Мы сосредоточились на оптимизации ресурсной задачи — сборе огромного количества данных, по которым мы и клиенты могли оценить эффективность рекламных кампаний. По сути, понадобилось создать новый MarTech-проект, чтобы автоматизировать и так автоматические системы. Расскажу, как это выглядело на каждом этапе.

Сбор данных и их проверка

Чтобы автоматизировать процесс сбора информации, мы настроили передачу данных из рекламных кабинетов. Для этого не нужно было писать отдельную программу с нуля, но участие программистов все же потребовалась. Они помогли разобраться с готовыми механизмами интеграции, API, наших инструментов. В итоге все данные автоматически стекаются  в таблицы BigQuery и визуализируются в Google Data Studio.  Реализовали это так:

• взяли все API, доступные в AdServers;
• загрузили через них отчеты за каждый день в таблицы BigQuery; 
• туда же через Google Sheets загружаем план и структуру кампании; 
• в BigQuery объединяем под структуру плана данные, формируем нужные отчеты и визуализируем их через интеграцию в Data Studio;
• там, где нет API, просим площадки присылать отчеты каждый день и через Sheets загружаем в базу.

В день мы выгружаем в автоматическом режиме около 100 отчетов из 12 разных источников. Это примерно 1 ТБ информации.

Обработать ее руками было бы сложно, долго и дорого. Поэтому все задачи по сбору и сведению данных выполняют интеграции, а трафик-менеджеры видят готовую статистику в разрезе каждого сегмента и площадки. В едином окне можно оценить, как выполняются ставки и бюджет сразу в Facebook и Google Ads, какие конверсии и досмотры видео.

Данные — основа цифрового маркетинга. Их можно получить при размещении рекламы, а затем использовать для оценки ее эффективности и оптимизации. Но прежде чем делать выводы из статистики, следует проверить ее точность, ведь неверные цифры ведут к неправильным выводам. Мы не можем сказать, что охватили 10 млн людей, пока не проверили, правильно ли их посчитали. Так что в первую очередь измеряем отклонения основных показателей по чек-листу.

Чек-лист проверки качества данных 

Затем используем полученные отклонения и погрешности, чтобы конкретизировать расчеты. Вот так чек-лист выглядит в самом дашборде.

Отслеживание медийных показателей

За счет автоматизации снизились затраты на анализ медийных показателей. Этот процесс стал, без преувеличения, в 10 раз быстрее. На скриншоте ниже пример сведенных показателей рекламных кампаний из YouTube, Facebook, DV360 и Trade Desk. Сразу видим статистику охвата, post-view, cross-device конверсий из всех источников.

Причем охват тут не просто суммирован из всех рекламных кабинетов — это данные с учетом фактического пересечения за счет трекинг-системы.

Анализ реакции на рекламу

Самый важный компонент целостного анализа — оценка реакции аудитории на рекламу. На скриншоте ниже пример основного post-click, post-view, cross-device отчета. Также в нем находятся метрики, динамику которых мы видим каждый день. 

На основании этих данных специалисты могут определить эффективные сегменты, эффективную частоту, более удачный креатив для каждой аудитории. Исходя из этого делают выводы: как часто показывать рекламу, где повысить ставки, где понизить и т. д. Это позволяет улучшать рекламные кампании наших клиентов.

Будущее и Agile

Расскажу идеальную картину, к которой мы как агентство стремимся.

Специалист придумал классную стратегию размещения, спланировал и запустил кампанию. Вскоре автоматизированная система получает результаты и сама оптимизирует настройки: таргетинги, креативы, частоту показа и т.д. Человеку останется лишь присматривать за работой автоматики, создавать креативы и радоваться росту нужных показателей.

Так мы представляем будущее онлайн-рекламы. И оно наступит не когда-нибудь после колонизации Марса, а в ближайшие 6-9 месяцев.

По сути сейчас мы строим собственный MarTech проект, в котором дашборд — только первый шаг в автоматизации работы с рекламой. Мы создали отчетность, на основании которой разрабатываем алгоритмы. На основании этих алгоритмов будут срабатывать скрипты, меняющие настройки в системе управления рекламой.

Хотите создать подобную систему в вашем агентстве или компании — пишите свои вопросы на [email protected]. Мы будем рады получить фидбек от коллег и помочь с настройкой.

Автор: Дмитрий Снигир, сооснователь рекламного агентства newage