Skip to content
getdataengineeringjobs
Back to results

Tech Lead Data Lakehouse Engineer

RWB
Remote Lead Posted

Summary

Written in English from the original posting

RWB is hiring a remote Tech Lead Data Lakehouse Engineer for its corporate storage team. The role involves designing and building a Data Lakehouse platform, developing ETL/ELT pipelines with Spark, DBT, and Trino, and supporting the platform with Airflow, S3, observability tools, and GitOps. The posting lists Python and SQL skills.

Job description

О компании и команде

RWB (Wildberries & Russ) — это международная технологическая
компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ.

Сейчас мы одновременно развиваем два направления: поддерживаем и совершенствуем существующее хранилище данных на Greenplum и строим новое хранилище на базе современного Data Lakehouse-подхода.

Стань частью команды!

Вам предстоит:

  • Проектировать и развивать Data Lakehouse платформу;

  • Разрабатывать ETL/ELT пайплайны на базе Spark, DBT и Trino;

  • Работать с объектным хранилищем S3 и организовывать эффективную работу с данными в Data Lake;

  • Строить наблюдаемость платформы: метрики, дашборды и алертинг на базе Prometheus, VictoriaMetrics и Grafana;

  • Управлять инфраструктурой и конфигурацией платформы через GitOps (ArgoCD, Helm);

  • Взаимодействовать с продуктовой командой, понимать потребности пользователей платформы и развивать DLH как внутренний продукт.

Вы нам подходите, если:

  • Имеете практический опыт построения Data Lakehouse платформ или крупных Data Platform решений;

  • Обладаете опытом проектирования DLH с нуля;

  • Имеете глубокое понимание архитектуры Spark: execution model, partitioning, memory management, shuffle, оптимизация запросов;

  • Хорошо понимаете принципы работы форматов данных и таблиц в Data Lake (Iceberg/Parquet и аналогичных технологий);

  • У вас есть опыт работы с Trino и понимание принципов распределенного выполнения запросов;

  • Обладаете опытом работы с Airflow и построения сложных data workflows, разработки кастомных операторов, сенсоров, хуков и плагинов.

Преимущества для сотрудников:

  • Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;

  • Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;

  • Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;

  • Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;

  • Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;

  • Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.

Навыки: Python, SQL

Similar jobs

RWB Apply