Skip to content
getdataengineeringjobs
Back to results

Data Engineer

Okko
Moscow, Russia Full-time Posted

Summary

Written in English from the original posting

Okko is looking for a Data Engineer to join the recommendation systems (RecSys) team to develop batch and streaming data pipelines. Responsibilities include building Airflow ETL pipelines, managing real-time data streaming using Spark and Kafka, and expanding the feature store for machine learning models. Candidates need solid Python and SQL skills, along with experience using the modern big data stack.

Job description

Ищем Data Engineer в направление рекомендаций, который будет совместно с нами строить пайплайны и развивать платформу данных. В нашей команде коллеги быстро растут и получают опыт в разных задачах — от классического ETL для аналитических витрин до потоковой обработки в реальном времени для ML.

В Okko хорошо развиты data-driven процессы: большое количество A/B экспериментов, источников и витрин делает работу Data Engineer особенно важной. Здесь ваш вклад реально виден: коллеги ценят результаты вашей работы, а ваши решения напрямую влияют на качество аналитики и эффективность ML-моделей.

В команде рекомендаций сейчас два Data Engineer, и мы ищем коллег, чтобы поддерживать текущий ритм разработки, а также развивать потоковую обработку данных и функциональность feature store.

Что предстоит делать:

  • поддержка и разработка batch ETL-пайплайнов на Airflow для аналитических витрин и ML;
  • потоковая обработка данных с использованием Spark Streaming, Kafka, MongoDB;
  • развитие feature store как инструмента, наполнение его фичами и интеграция данных для ML-моделей;
  • документирование, оптимизация и мониторинг пайплайнов и потоков данных.

Наш стек:

  • ClickHouse
  • Airflow
  • Spark (Spark Streaming, PySpark, Spark SQL)
  • Kafka
  • MongoDB
  • Hive
  • S3
  • DataHub

Требования:

  • уверенное знание Python и SQL;
  • опыт построения ETL-процессов с использованием перечисленного стека;
  • будет плюсом: опыт работы с CI/CD, Docker, Grafana, базовые знания в области ML (обучение и инференс моделей, работа с feature store).

Условия:

  • Необходимое оборудование и софт для работы.
  • Официальное трудоустройство;
  • ДМС со стоматологией, офисный врач, доплата больничного листа, корпоративные скидки;
  • Льготные условия ипотеки в рамках зарплатного проекта;
  • Бесплатная подписка на сервисы партнеров:
  • Корпоративный спорт;
  • Насыщенная корпоративная жизнь;
  • Электронная библиотека издательства МИФ, в которую входят почти 2 тыс. единиц контента по бизнесу, саморазвитию, здоровому образу жизни и другим актуальным темам.

Навыки: Apache Spark, Apache Airflow, ClickHouse, SQL, Python

Similar jobs

Okko Apply