Директор по работе с большими данными Mediascope о новой дата-платформе компании в интервью Cnews

31.03.2020

В разработке новой дата-платформы Mediascope помогали специалисты компании «Неофлекс».

«Мы находимся в точке взрыва данных»

Mediascope — один из лидеров российского рынка исследований медиа, а по отдельным направлениям — даже монополист, например, во всем, что касается телевидения. Вы — технологическая компания?

Mediascope измеряет аудиторию и рекламу в российских медиа больше 25 лет. На телевизионном рынке наша компания — единый национальный медиаизмеритель. Данные Mediascope — это рыночная «валюта», на их основе рекламодатели, агентства, селлеры и каналы совершают сделки по покупке и размещению рекламы на ТВ. Мы также предоставляем аудиторные данные и аналитику по другим сегментам медиа-рекламного рынка (интернету, радио и прессе) и проводим исследования потребительских предпочтений россиян. Поэтому с точки зрения нашего бизнеса, который сильно завязан на сбор, обработку и анализ данных, мы действительно — технологическая исследовательская компания. Компания обладает собственными источниками информации о рынке, но также получает данные из внешних источников. Наши клиенты — это все основные участники медиа-рекламного рынка: телеканалы, интернет-площадки, радиостанции, издательские дома, рекламные агентства, бренды и рекламодатели. Все они пользуются данными наших постоянных медиаисследований, которые мы продаем по подписке. Mediascope также проводит специальные исследования по заказу клиентов, если они хотят получить информацию для решения узких задач.

Рынок, о котором мы говорим, также подвержен цифровым изменениям, как и все вокруг?

Да, но это не просто модная цифровая трансформация отдельных компаний, о которой сейчас все говорят. Речь идет о трансформации целого рынка. Стираются грани между разными медиа, участники рынка могут выступать сразу в нескольких ролях — к примеру, в качестве площадок распространения и производителей контента. Главное — меняется само медиапотребление человека, а вслед за этим перераспределяются веса между разными сегментами рынка. Сейчас на все медиапоказатели влияет гораздо больше факторов, поэтому мы как исследовательская компания следуем за самим рынком и его потребностями и стараемся учесть все, что может повлиять на рейтинги медиа, получить как можно больше информации о поведении аудитории. Появляются совершенно новые взгляды на то, как измерить рынок, которые определяют технологические изменения и требования к нашим решениям.

Что именно изменилось? Стало больше данных. Их количество удваивается каждые два года, мы находимся в точке взрыва данных. В ближайшие пять лет у рынка появится на порядок больше сведений. Кроме того, появляется больше источников, они становятся разнообразнее.

Еще один важный фактор, который влияет на технологии и их востребованность на рынке — скорость внесения изменений. Новые продукты выводятся на рынок очень быстро, поэтому возникает потребность анализировать на лету. Многие метрики, которыми рынок пользовался еще несколько лет назад, сейчас теряют свою актуальность.

Объем данных, количество их источников и скорость изменений — это три кита, которые определяют технологии, с которыми мы работаем.

Теперь все упирается в большие данные?

За этим термином скрывается целый стек технологий, это не только экосистема Hadoop, как принято думать. Нужны гибкие инструменты, позволяющие быстро получать данные, разбираться в них, строить на их основе расчеты и контролировать качество получаемых данных. Мы оперируем быстрыми инструментами доставки сведений и self-service аналитикой. Помимо Hadoop и его экосистемы, к работе с большими данными мы относим все, что касается стриминговой обработки на Kafka и с помощью других инструментов потокового вычисления, инструменты self-service аналитики. Это Self Service Preparation Tool — класс приложений, который находится на пике своей популярности по мнению Gartner, но на самом деле только-только входит в практику. И, пожалуй, еще все, что касается Data Science. Это не только набор инструментов и технологий, это стремительно развивающееся направление исследовательской деятельности.

Вы согласны с тем, что большие данные — это серьезный актив?

Это, скорее, пассив. Активом является информация, которую из этих данных удалось получить. Мы работаем с информацией, а данные — это некое сырье, из которого мы строим определенную картину. В центре находится наш объект исследования — житель страны, который смотрит телевизор, пользуется интернетом, слушает радио или читает прессу, выбирает товары и совершает покупки. Человек является центром всех исследований Mediascope, мы собираем его социально-демографическую информацию, сведения о его потребительских предпочтениях, интересах. И уже поверх этого накладывается информация о том, как этот человек взаимодействует с медиа, как он пользуется мобильным телефоном, как он смотрит телевизор, какую рекламу видит по дороге на работу. Совокупность этой информации и позволяет строить глубокие исследования: от фиксации контакта человека с медиа до оценки результатов рекламной кампании. На любой дата-сет или источник данных мы всегда смотрим под одним углом: «Насколько это обогатит наши знания о человеке и его поведении?». Работа с большими данными всегда должна быть очень предметной. Хватать все, что есть — дорого и не очень осмысленно.

«Уровень доверия к нашим данным очень высок»

И все это привело вас к созданию Mediascope Data Platform?

Накопился целый набор предпосылок. Рост объемов данных и необходимость быстрее их обрабатывать — одна из них, но есть и другие, которые напрямую связанные с бизнесом, например, кросс-медийная аналитика.

Рекламодатель хочет запустить рекламную кампанию и интересуется, какие у нее будут качественные показатели. Например, сколько секунд пользователь будет видеть рекламу по телевизору, в интернете, в компьютерных играх или в мобильных приложениях. Бизнес хочет понимать, где случился рекламный контакт, что изменилось у людей после просмотра рекламы, как это сказалось в конечном итоге на предпочтениях и потребительском поведении людей.

Комплексный анализ не сводится к измерению какого-то отдельного средства массовой информации. Важно и то, как доставили рекламную кампанию до потребителя, насколько хорошо она попала в целевые группы. Но на этом измерения не заканчиваются, дальше нужно узнать, какое влияние оказала реклама. Множество компаний пытаются понять, стал ли бренд более узнаваемым, например. Mediascope тоже этим занимается: кроме анализа аудитории рекламы, мы изучаем как люди реагируют на рекламу, как выросло знание бренда – для этого у нас есть собственный аналитический продукт Brand Pulse. И уже после этого нужно выяснить, как реклама повлияла на продажи товара. Это и есть настоящая сквозная аналитика. Бизнес хочет видеть все от и до: от планирования своих медиазатрат до финального результата, выраженного в деньгах от продаж.

На эти вопросы, в принципе, и раньше существовали ответы, но техническое решение исторически строилось не совсем под эти цели. Когда мы планировали платформу, то хотели создать архитектуру, которая позволила бы решать всю комплексную задачу по кросс-медиа анализу. Она стала матрицей, которая позволяет посмотреть на все, что происходит между производителем товара, его продавцом и конкретным покупателем, и как в этом участвуют медиа.

А само решение вы не на Западе подсмотрели?

Дело в том, что в мире не так много более или менее автономных, или замкнутых рынков. Мы действительно исследовали, как это работает в США: там несколько участников рынка проинвестировали в построение большой платформы, каждый — своей. То есть они решили одну и ту же задачу несколько раз.

Российский рынок меньше, поэтому мы приняли решение создавать открытую платформу, которая позволит работать с большими данными не только нам - исследовательской компании, но и другим игрокам. Здесь стоит отметить, что Mediascope, как независимая исследовательская компания, не является игроком на рекламном рынке, не участвует в прямой цепочке продаж и размещения рекламы. Поэтому уровень доверия к нашим данным очень высок. Мы строим платформу, на которой не только мы можем решать аналитические и исследовательские задачи, но и те, кто работает непосредственно с данными — наши клиенты. И, конечно, мы не ограничиваем возможность загрузки информации из внешних источников. Получилось синдикативное решение, которое уберет барьеры, которые исторически сложились из-за отсутствия единого решения. Насколько это удалось мы узнаем после результатов тестирования платформы внешними пользователями.

Как велась разработка? Какое ПО использовалось?

У Mediascope было несколько архитектурных требований, одним из которых стало использование ПО с открытым кодом.

Открытость платформы — это главная идея, мы хотели сделать ее для всех игроков медиа-рекламного рынка. Если бы мы делали платформу с использованием сложных и дорогих инструментов, нам бы пришлось обязать участников рынка покупать такие же инструменты для работы с ней, а мы не хотели увеличивать финансовую нагрузку для клиентов. И, наверное, рынок пока к такому не готов. Стоит отметить, что вокруг темы больших данных сложилось хорошее Hadoop-комьюнити, которое поддерживает технологии с открытым кодом и которые вполне можно считать индустриальным стандартом.

Если говорить об отдельных технологиях, то мы используем Kafka в качестве средства доставки, Hadoop Hortonworks как среду хранения данных и Spark — фреймворк для вычислений.

Какой объем данных уже заведен в платформу?

Больше петабайта — это уже заведенные наши данные и в перспективе те, что есть в компаниях, которые так или иначе заинтересовались возможностями платформы. С учетом тенденции роста объема данных, о которой я говорил вначале нашей беседы, через несколько лет количество данных на платформе, очевидно, может возрасти. Понятно, что мы не будем брать абсолютно все данные, что есть на рынке. Мы соотносим количество с полезностью. Однако спрос на анализ данных и в будущем будет довольно высоким.

Но при этом вы используете коммерческие инструменты для проектирования и поддержания платформы?

Вся прикладная логика системы разрабатывается нашими программистами и дата-инженерами в Datagram от «Неофлекс». Этот инструмент позволяет на выходе выдать отчуждаемый исполняемый программный код. Мы также используем коммерческие BI-инструменты — у нас применяется Tableau, с помощью которого мы планируем в будущем предоставлять внешний доступ в определенные дашборды с отчетами и аналитикой.

 

Продолжение интервью читайте на сайте Cnews.

 

Теги: