Data Engineer

Привет!

Мы строим Data Lake под регуляторное хранилище на базе ClickHouse. Ищем опытного Data Engineer, который не понаслышке знает, как всё устроено - от архитектуры хранилища до тонкостей работы конкретной СУБД под нагрузкой.

Вам предстоит разобраться в сложном legacy-коде, спроектировать и запустить надёжные пайплайны данных, а также поучаствовать в ключевых архитектурных решениях. Мы ждём человека, которому интересно данное направление, который умеет аргументировать свою позицию и берёт ответственность за результ

Технические требования (Hard Skills)

Обязательно
•    Oracle PL/SQL: чтение и понимание сложного существующего кода (пакеты, хранимые процедуры, функции, тонкости транзакционной логики), умение переносить/перепроектировать бизнес-логику под новый стек.
•    SQL: отличное владение аналитическим SQL: сложные JOIN, оконные функции, CTE, агрегации, оптимизация запросов.
•    ClickHouse: уверенный опыт работы - движки таблиц (MergeTree-семейство и др.), партиционирование, индексы, материализованные представления, движки для интеграции, кодеки сжатия, репликации.
•    Apache Airflow: разработка production-ready DAG, управление зависимостями, retry/backfill, переменные и соединения, мониторинг ошибок.
•    DataLake: понимание архитектур хранилищ, моделирование данных под аналитику, работа с большими объёмами, опыт с Apache Iceberg как плюс.

Важно (будет плюсом)
•    Python: уверенный уровень (автоматизация ETL, работа с Airflow, клиентами БД, тестирование).
•    Trino: понимание принципов работы, построение запросов, оптимизация JOIN, работа с каталогом.
•    Apache Spark: опыт batch-обработки (PySpark), интеграция с Iceberg/S3, понимание распределённых вычислений.
•    Data Quality: опыт внедрения проверок качества данных, мониторинг аномалий.
•    Мониторинг: построение мониторинга пайплайнов, автоматизация алертинга.
•    Инфраструктура и CI/CD: Git, опыт работы с S3-compatible storage, понимание CI/CD для data-конвейеров.

Будет преимуществом
•    Опыт работы в банковской сфере: знание банковских продуктов, плана счетов, принципов учёта.
•    Знание регуляторной отчётности.
•    Опыт работы с PL+ (ЦФТ).
•    Опыт проектирования lakehouse-архитектуры.
•    Опыт миграций с legacy-хранилищ.

Опыт работы
•    От 3 лет в IT, из них не менее 1 года в роли Data Engineer / ETL-разработчика / инженера данных.
•    Опыт работы с высоконагруженными аналитическими системами и большими объёмами данных.
•    Опыт участия в архитектурных обсуждениях и проектировании решений.
•    Желателен опыт в финансовом секторе / банках.

Образование
•    Высшее техническое/математическое/IT.

Личные качества (Soft Skills)
•    Умение работать в команде и эффективно коммуницировать с аналитиками, архитекторами, разработчиками и бизнесом.
•    Умение аргументировать технические решения и участвовать в конструктивных дебатах.
•    Самостоятельность, проактивность, ответственность за результат.
•    Готовность разбираться в чужом сложном legacy-коде.
•    Внимательность к деталям и аккуратность при работе с критичными финансовыми данными.

Что мы предлагаем:

• Абсолютную свободу от бюрократии – здесь ценят инициативу и идеи.
• Дружелюбную корпоративную атмосферу и поддержку со стороны коллег.
• Возможности для обучения и развития – мы готовы инвестировать в ваш профессиональный рост.
• Ежегодный пересмотр зарплаты с учётом ваших достижений. 
• Годовой бонус, который приятно дополняет вашу зарплату.
• Современный и уютный офис, который вошёл в Топ-10 лучших в Казахстане.
• Офисный формат работы с возможностью удаленного подключения при необходимости.
• Бесплатный тренажерный зал в офисе.
• Электронную библиотеку.
• Релокационный пакет.