getSummary
Written in English from the original postingThe role involves developing and maintaining data pipelines for large-scale telemetry data from Moscow's autonomous transport systems. It includes building Spark pipelines, integrating new data sources, and evolving Data Lake and DWH architecture. Required experience includes Python, PySpark, SQL, and ETL/ELT principles.
Job description
Мы ищем талантливого Data Engineer, который готов столкнуться с непростыми задачами в области хранения и обработки больших данных в масштабах петабайт! У вас будет уникальная возможность поучаствовать в развитии платформы данных для работы с телеметрией автономного транспорта Москвы - трамваев и метро, в том числе: в разработке архитектуры DWH, подключении новых сервисов, повышении производительности и стабильности работы платфонмы.
Почему стоит рассмотреть это предложение? Инновационный проект - Уникальная возможность повлиять на будущее системы общественного транспорта и развивать ИТ. Современные технологии - Мы используем современные стеки, такие как Python, Trino и Spark, что позволит вам развиваться в своей профессиональной сфере. Динамичная команда - Вы будете работать в команде экспертов, которая ценит инновации и сотрудничество.
Что предстоит делать:
Превращать телеметрию автономного транспорта в данные, удобные для анализа: разрабатывать и запускать Spark-пайплайны, продумывать преобразования и проверки качества
Подключать новые источники данных: разрабатывать интеграции с различными системами и обеспечивать надёжную загрузку данных в хранилище
Развивать архитектуру Data Lake / DWH
Вместе с командой формировать общие подходы к разработке, мониторингу и сопровождению пайплайнов
Что ожидаем:
Практический опыт разработки и сопровождения пайплайнов данных
Опыт работы с PySpark, Python и SQL
Опыт работы с Data Lake / DWH и понимание принципов построения ETL/ELT-процессов
Понимание принципов распределённой обработки данных
Будет плюсом:
Опыт работы с Trino+S3
Опыт оркестрации пайплайнов с помощью Airflow
Знакомство с Data Vault 2.0
Знание Scala и опыт её использования для обработки данных
Опыт развития платформы данных на ранних этапах: от выбора решений до их внедрения и сопровождения
Условия:
Трудоустройство и работа в соответствии с ТК РФ
Компенсация проезда в пригородных электропоездах
Льготы на отдых в оздоровительном комплексе метрополитена
Детский оздоровительный лагерь и детский клуб
Финансовые условия обсуждаем индивидуально в зависимости от опыта кандидата
Навыки: SQL, Python, DWH
The weekly Digest
The week's most transparent data engineering jobs in your inbox once a week.
Once a week, a few new jobs that state their salary, location and stack, plus links to the rest. No open tracking; clicks are counted per issue, not per person. Unsubscribe with one click.
