getSummary
Written in English from the original postingThe role is a Data Engineer working on a large banking project involving data replication from S3 to Hadoop. Responsibilities include developing ETL processes, analyzing data quality, decomposing tasks, creating technical documentation, and delivering ad-hoc data extracts. Required skills include SQL, Python, Apache Spark, Hadoop/S3-like storage, and Airflow.
Job description
Сейчас мы в поиске Дата инженера для работы над крупным банковским проектом по репликации данных из S3 в Hadoop
Твои задачи:
Реализовывать репликацию данных
Разрабатывать ETL-процессы для интеграционных задач и тестировать их
Декомпозировать задачи, оценивать длительность и трудоемкость каждого этапа
Анализировать и формализовать требования заказчика
Собирать прототип решения
Анализировать качество данных
Писать проектную документацию (FSD, BRD, регламент, Admin Guide, User Guide)
Тестировать функционал и передавать заказчику
Выполнять ad-hoc выгрузки по требованиям заказчика
Что мы ждем от тебя:
Уверенное владение SQL
Опыт работы с Python
Опыт работы с Apache Spark, Hadoop\S3\S3-like, Airflow
Навыки декомпозиции сложных задач и управления приоритетами-
Способность создавать понятную и структурированную техническую документацию
Будет плюсом:
Опыт работы с Parquet\ORC, Apache Iceberg
Опыт работы с Kafka
Знание архитектуры Data Vault
Что мы обеспечиваем:
Внутренние семинары, внутренние митапы, мы очень любим учиться новому
ДМС со стоматологией для сотрудников и скидку на покупку ДМС для ближайших членов семьи
Технику для комфортной работы
Сессии профессионального развития персонала, результатом которой является план индивидуального развития каждого сотрудника
Навыки: Apache Hadoop, Apache Spark, Apache Airflow, ETL, DWH
