get
Summary
Written in English from the original postingThis remote role at RWB involves designing and developing a Data Lakehouse platform and ETL/ELT pipelines using Spark, DBT, and Trino. The engineer will also build observability with Prometheus, VictoriaMetrics, and Grafana, manage infrastructure with GitOps, and collaborate with product teams. Requirements include experience with data lake formats, distributed query engines, and Airflow workflows.
Job description
Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ. Сейчас мы одновременно развиваем два направления: поддерживаем и совершенствуем существующее хранилище данных на Greenplum и строим новое хранилище на базе современного Data Lakehouse-подхода.
Вам предстоит
Проектировать и развивать Data Lakehouse платформу
Разрабатывать ETL/ELT пайплайны на базе Spark, DBT и Trino
Работать с объектным хранилищем S3 и организовывать эффективную работу с данными в Data Lake
Строить наблюдаемость платформы: метрики, дашборды и алертинг на базе Prometheus, VictoriaMetrics и Grafana
Управлять инфраструктурой и конфигурацией платформы через GitOps (ArgoCD, Helm)
Взаимодействовать с продуктовой командой, понимать потребности пользователей платформы и развивать DLH как внутренний продукт
Мы ожидаем от вас
Имеете практический опыт построения Data Lakehouse платформ или крупных Data Platform решений
Обладаете опытом проектирования DLH с нуля
Имеете глубокое понимание архитектуры Spark: execution model, partitioning, memory management, shuffle, оптимизация запросов
Хорошо понимаете принципы работы форматов данных и таблиц в Data Lake (Iceberg/Parquet и аналогичных технологий)
У вас есть опыт работы с Trino и понимание принципов распределенного выполнения запросов
Обладаете опытом работы с Airflow и построения сложных data workflows, разработки кастомных операторов, сенсоров, хуков и плагинов
Что мы предлагаем
Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;
Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;
Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.
Навыки: Информационные технологии