Руководитель Сектора разработки в платформе данных

Руководитель Сектора разработки в платформе данных

Сейчас расширяем команду и ищем коллегу - Руководителя Сектора разработки в платформе данных.

Команда состоит из дата-инженеров, которые занимаются развитием платформы больших данных. Основная цель будущего коллеги - это формирование видения развития платформы.

В настоящий момент наша Платформа Больших Данных (Big Data Platform) реализована на промышленной экосистеме hadoop. Основными компонентами платформы являются yarn, hdfs, spark/pyspark, hbase, Clickhouse, PostgreSQL, kafka.

Наша платформа эволюционно развивается, основным вектором развития является переход в k8s , s3, kafka-streams, scylla.

Чем предстоит заниматься:

• Руководить командами разработки сектора разработки в платформе данных.
• Формировать видение и вектор развития архитектуры платформы больших данных.
• Принимать участие в проектировании прикладных решений в рамках платформы больших данных.
• Отвечать за проектирование и/или участвовать в проектировании сервисных решений в рамках платформы больших данных.
• Отвечать за реализацию спроектированных решений и компонентов в рамках платформы больших данных.
• Нести ответственность за процесс разработки в вверенном подразделении: его качество, эффективность, производительность, временные ограничения.
• Сотрудничать со смежными подразделениями разработки, придерживаться контрактов взаимодействия с ними.
• Следовать правилам ведения технической документации и требовать того же от всех членов команды.
• Разрабатывать и отслеживать ключевые показатели эффективности работы команды.
• Формировать культуру постоянного развития компетенций и применения инноваций.

Что для этого требуется:

• Опыт работы с большими данными и интенсивными потоками данных – с хранилищами петабайтных масштабов.
• Знание алгоритмов и структур данных, а также принципов и шаблонов построения программных систем.
• Уверенное владение git.
• Опыт работы в spark / pyspark / sql – не менее 3 лет.
• Опыт построения DWH на базе стека hadoop / spark.
• Опыт разработки ETL/ELT конвейеров на spark / pyspark / sql – не менее 3-х лет.
• Опыт работы с kafka.
• Опыт работы с NSQL решениями типа scylla/cassandra, hbase.
• Понимание принципов работы kubernetes.
• Понимание принципов работы CI/CD конвейеров.
• Уверенные навыки анализа больших данных в рамках разбора инцидентов и проверки правильности работы конвейеров.
• Опыт руководства инженерами, желательно - дата-инженерами – не менее 3-х лет.
• Опыт наставничества.

Мы предлагаем:

• Возможность выбирать комфортный формат работы – офис, удаленка или гибрид, гибкое начало рабочего дня;
• Конкурентную белую зарплату;
• Официальное оформление, гарантию соблюдения трудового кодекса РФ, стабильную выплату заработной платы;
• Расширенную медицинскую страховку (включая стоматологию).

Работа в Mediascope – это

• Сложные и нестандартные задачи. Погружайтесь в работу с данными в индустриях, где происходит все самое интересное: Медиа, Реклама, Web, Mobile.
• Современные технологии и эффективные подходы к работе. Применяйте актуальные инструменты для успешной работы.
• Непрерывное развитие. Получайте новые знания на профильных конференциях, обменивайтесь опытом с коллегами-экспертами и участвуйте в еженедельных образовательных митапах компании.
• Профессиональные и открытые коллеги. Работайте в команде сильных специалистов, основа которой - открытость, человечность, доверие, экологичность общения.

Откликайтесь, обсудим все детали вакансии!