Дата инженер

Дата инженер

Стек технологий, с которым работаем:

CI: GitLab CI
BigData: arflow, zeppelin, jupiterhub, hadoop, spark/pyspark/spark-sql

Чем предстоит заниматься:

• Мониторинг и анализ ключевых показателей\метрик\статистик функционирования платформы больших данных
• Обработка и вывод изменений (релизов) в продуктивную среду
• Разработка, развитие и поддержка автоматизированных решений мониторинга процесса производства данных, проверки качества данных (data quality) и др.
• Поддержка и развитие политик хранения данных в различных хранилищах
• Участие в обеспечении бесперебойности ежедневного производства данных
• Участие в проработке архитектурных решений, code review и пр.

Что для этого потребуется:

• Уверенное знание SQL (диалект любой, но у нас преимущественно postgres и spark)
• Хороший Python (придётся писать скрипты и разбираться в чужих)
• Опыт работы в linux-консоли (желательно понимание и опыт в bash-скриптах)
• Понимание принципов работы с Git
• Понимание и опыт использования API (HTTP) будет преимуществом
• Внимательность, умение сосредоточиться и найти лишний пробел:)
• Коммуникабельность, готовность общаться с коллегами для поиска оптимальных решений
• Инициативность, как продолжение желания максимально упростить и автоматизировать рутинные операции

Будет плюсом:

• Опыт автоматизации регулярных процессов с помощью сервисов\скриптов
• Опыт работы или знание эко-системы Hadoop и оркестратора процессов обработки данных Airflow;
• Опыт работы в направлении управления данными (data governance);
• Опыт обработки больших датасетов и\или работы в условиях ограниченных ресурсов;
• Опыт работы или активное взаимодействие с командами мониторинга/эксплуатации/поддержки;
• Опыт работы с реляционными Базами Данных;

Мы предоставим комфортные условия для работы:

• Возможность выбирать формат работы – офис, удаленка, гибрид
• Официальное оформление, гарантируем соблюдения трудового кодекса РФ
• Расширенная медицинская страховка (включая стоматологию)
• Используем современный стек технологий и открыты к внедрению новых инструментов
• Работа в аккредитованной IT -компании
• Мы умеем быстро подстраиваться под изменения, и у нас внутри гибкие процессы
• Наши заказчики – крупные компании на российском медиарынке, у нас разные проекты от значимых до очень значимых

Наши преимущества:

• Выделенный наставник с первых дней работы: мы понимаем, что новая компания - всегда стресс, поэтому у нас новичкам помогают старшие коллеги.
• Внутренние коммьюнити: 2 трека внутренних митапов для аналитиков и инженеров; возможность выступать как спикер или приходить на выступления других коллег в качестве слушателя
• Карьерный рост: при хороших результатах работы вы быстро двигаетесь по карьерному треку
• Уникальная корпоративная культура, ориентированная на людей. Для нас важен каждый коллега, мы всегда открыты к диалогу и любым вопросам сотрудников.