Дата-инженер (группа мониторинга платформы данных)

Стек технологий, с которым работаем:

CI: GitLab CI

BigData: arflow, zeppelin, jupiterhub, hadoop, spark/pyspark/spark-sql​

Чем предстоит заниматься:

  • Анализ по контрольным точкам процесса поступления, обработки и отправки данных в случае отклонений (анализ логов работы приложений, отбрасываемых метрик в БД, проверка структуры и состава производимых паркетов);
  • Составление цепочки восстановления дневного производства на основе зависимостей работы ETL-pipelin’ов и особенностей архитектуры их работы, работа с ветвистой таблицей метаданных по взаимосвязям запускаемых линий;
  • Консультирование коллег по вопросам восстановления производства, курирование восстановления;
  • Фиксирование разработанного порядка восстановления в инструкциях, техническое писательство;
  • Сопровождение релизов в платформе: оценка влияния изменений на PROD-производство, составление плана внедрения сложных релизов;
  • Инцидент-менеджмент: помощь в оформлении инцидентов, курирование решения вопросов, отслеживание наполняемости и заполненности;
  • Первичная интерпретация значимости отклонений в проверках входных и производных данных и коммуникация по результатам с бизнес-аналитиками.

Что для этого потребуется:

  • Уверенное знание SQL;
  • Знание python или scala будут преимуществом
  • Опыт работы в linux-консоли будет преимуществом
  • Коммуникабельность, готовность общаться со смежными подразделениями для решения инцидентов и выяснения нужной информации.
  • Усидчивость и готовность расследовать причины возникновения ошибок в системах.
  • Стрессоустойчивость в работе с большим потоком событий.

Будет плюсом:

  • Опыт работы или знание эко-системы Hadoop и оркестратора процессов обработки данных Airflow;
  • Опыт работы в направлении качества данных/Data Quality;
  • Опыт работы или активное взаимодействие с командами мониторинга/эксплуатации/поддержки;
  • Опыт работы в области социологических исследований.
  • Навык и желание подробно описывать найденные зависимости в производстве и принятые решения;
  • Опыт работы с реляционными Базами Данных;

Мы предоставим комфортные условия для работы:

  • Возможность выбирать формат работы – офис, удаленка, гибрид
  • Официальное оформление, гарантируем соблюдения трудового кодекса РФ
  • Расширенная медицинская страховка (включая стоматологию)
  • Используем современный стек технологий и открыты к внедрению новых инструментов
  • Мы умеем быстро подстраиваться под изменения, и у нас внутри гибкие процессы
  • Наши заказчики - крупные компании на российском медиарынке, у нас разные проекты от значимых до очень значимых

Наши преимущества:

  • Выделенный наставник с первых дней работы: мы понимаем, что новая компания - всегда стресс, поэтому у нас новичкам помогают старшие коллеги.
  • Внутренние коммьюнити: 2 трека внутренних митапов для аналитиков и инженеров; возможность выступать как спикер или приходить на выступления других коллег в качестве слушателя
  • Карьерный рост: при хороших результатах работы вы быстро двигаетесь по карьерному треку
  • Уникальная корпоративная культура, ориентированная на людей. Для нас важен каждый коллега, мы всегда открыты к диалогу и любым вопросам сотрудников.

Как попасть?

Прием на работу и собеседования - чего ожидать

Подробнее

Присоединяйтесь!

Отправьте нам свое резюме

Заявка будет оформлена на следующие тренинги:
Имя*
Фамилия*
E-mail*
Должность
* Поля, обязательные для заполнения

Использование данных Mediascope