Ведущий дата-инженер

Ведущий дата-инженер

Сейчас мы расширяем ИТ-команду в секторе сопровождения и эксплуатации и ищем нового коллегу на позицию Ведущий дата-инженер в группу мониторинга платформы данных.

О команде

Группа мониторинга платформы данных следит за корректностью и своевременностью отработки ETL-pipelin'ов обработки данных для отправки клиентам. Команда фиксирует отклонения от штатного процесса, локализует и дает первичную аналитику проблемы, информирует заинтересованные подразделения и далее занимается восстановлением корректных данных в случае подтвердившегося нарушения процесса. Команда группы также сопровождает запуск новых проектов в PROD-среде и способствуют оформлению финальных договоренностей по SLA для нового проекта.

Стек технологий, с которыми работаем: Hadoop, Airflow, Spark SQL, Python.

Чем предстоит заниматься

• Анализ по контрольным точкам процесса поступления, обработки и отправки данных в случае отклонений (анализ логов работы приложений, отбрасываемых метрик в БД, проверка структуры и состава производимых паркетов);
• Составление цепочки восстановления дневного производства на основе зависимостей работы ETL-pipelin’ов и особенностей архитектуры их работы, работа с ветвистой таблицей метаданных по взаимосвязям запускаемых линий;
• Консультирование коллег по вопросам восстановления производства, курирование восстановления;
• Фиксирование разработанного порядка восстановления в инструкциях, техническое писательство;
• Сопровождение релизов в платформе: оценка влияния изменений на PROD-производство, составление плана внедрения сложных релизов;
• Инцидент-менеджмент: помощь в оформлении инцидентов, курирование решения вопросов, отслеживание наполняемости и заполненности;
• Первичная интерпретация значимости отклонений в проверках входных и производных данных и коммуникация по результатам с бизнес-аналитиками.

Что для этого потребуется

• Уверенное знание SQL;
• Опыт работы с реляционными Базами Данных;
• Навык анализа технической документации;
• Знание на уверенном базовом уровне хотя бы одного языка программирования, желательно python или scala;
• Опыт работы в linux-консоли;
• Коммуникабельность, готовность общаться с коллегами по возникшим вопросам;
• Навык и желание подробно описывать найденные зависимости в производстве и принятые решения;
• Интерес к приобретению и развитию аналитических компетенций, в том числе в системной аналитике;
• Готовность в случае необходимости подключаться во внерабочее время (компенсируется дополнительными выходными).

Будет плюсом

• Опыт работы или знание эко-системы Hadoop и оркестратора процессов обработки данных Airflow;
• Опыт работы или интерес к сфере Качества данных/Data Quality;
• Интерес к техническому писательству;
• Опыт работы или активное взаимодействие с командами мониторинга/эксплуатации/поддержки;
• Опыт работы в области социологических исследований.

Мы предлагаем

• Возможность выбирать комфортный формат работы – офис, удаленка или гибрид, гибкое начало рабочего дня;
• Конкурентную белую зарплату;
• Официальное оформление, гарантию соблюдения трудового кодекса РФ, стабильную выплату заработной платы;
• Расширенную медицинскую страховку (включая стоматологию).

Работа в Mediascope – это

• Сложные и нестандартные задачи. Погружайтесь в работу с данными в индустриях, где происходит все самое интересное: Медиа, Реклама, Web, Mobile.
• Современные технологии и эффективные подходы к работе. Применяйте актуальные инструменты для успешной работы.
• Непрерывное развитие. Получайте новые знания на профильных конференциях, обменивайтесь опытом с коллегами-экспертами и участвуйте в еженедельных образовательных митапах компании.
• Профессиональные и открытые коллеги. Работайте в команде сильных специалистов, основа которой - открытость, человечность, доверие, экологичность общения.

Откликайтесь, и давайте обсудим все детали вакансии!