getSummary
Written in English from the original postingData Engineer role in Moscow for a platform processing petabyte-scale telemetry from autonomous trams and metro. The position involves developing and maintaining Spark pipelines, integrating new data sources, and evolving Data Lake/DWH architecture. Required skills include Python, SQL, and PySpark, with Trino, Airflow, Scala, and Data Vault 2.0 as nice-to-have.
Job description
Мы ищем талантливого Data Engineer, который готов столкнуться с непростыми задачами в области хранения и обработки больших данных в масштабах петабайт! У вас будет уникальная возможность поучаствовать в развитии платформы данных для работы с телеметрией автономного транспорта Москвы - трамваев и метро, в том числе: в разработке архитектуры DWH, подключении новых сервисов, повышении производительности и стабильности работы платфонмы.
Почему стоит рассмотреть это предложение? Инновационный проект - Уникальная возможность повлиять на будущее системы общественного транспорта и развивать ИТ. Современные технологии - Мы используем современные стеки, такие как Python, Trino и Spark, что позволит вам развиваться в своей профессиональной сфере. Динамичная команда - Вы будете работать в команде экспертов, которая ценит инновации и сотрудничество.
Что предстоит делать:
Превращать телеметрию автономного транспорта в данные, удобные для анализа: разрабатывать и запускать Spark-пайплайны, продумывать преобразования и проверки качества
Подключать новые источники данных: разрабатывать интеграции с различными системами и обеспечивать надёжную загрузку данных в хранилище
Развивать архитектуру Data Lake / DWH
Вместе с командой формировать общие подходы к разработке, мониторингу и сопровождению пайплайнов
Что ожидаем:
Практический опыт разработки и сопровождения пайплайнов данных
Опыт работы с PySpark, Python и SQL
Опыт работы с Data Lake / DWH и понимание принципов построения ETL/ELT-процессов
Понимание принципов распределённой обработки данных
Будет плюсом:
Опыт работы с Trino+S3
Опыт оркестрации пайплайнов с помощью Airflow
Знакомство с Data Vault 2.0
Знание Scala и опыт её использования для обработки данных
Опыт развития платформы данных на ранних этапах: от выбора решений до их внедрения и сопровождения
Условия:
Трудоустройство и работа в соответствии с ТК РФ
Компенсация проезда в пригородных электропоездах
Льготы на отдых в оздоровительном комплексе метрополитена
Детский оздоровительный лагерь и детский клуб
Финансовые условия обсуждаем индивидуально в зависимости от опыта кандидата
Навыки: DWH
The weekly Digest
The week's most transparent data engineering jobs in your inbox once a week.
Once a week, a few new jobs that state their salary, location and stack, plus links to the rest. No open tracking; clicks are counted per issue, not per person. Unsubscribe with one click.
