Skip to content
getdataengineeringjobs
Back to results

Senior Data Engineer

CRH Talento de IT
Monterrey, Mexico Senior Posted

Summary

Written in English from the original posting

The Senior Data Engineer will design, develop, and maintain end-to-end batch and near real-time data pipelines using Databricks. The role includes Lakehouse architecture with bronze, silver, and gold layers, Spark optimization, data quality, monitoring, and production incident resolution. It also involves collaboration with analytics, business intelligence, and data science teams to provide certified datasets.

Job description

Responsabilidades

  • Diseñar, desarrollar y mantener pipelines de datos end-to-end para procesamiento batch y near real-time utilizando Databricks.

  • Implementar y mantener arquitecturas Lakehouse mediante las capas bronze, silver y gold.

  • Desarrollar procesos de ingestión, transformación, validación y publicación de datos, asegurando su calidad, disponibilidad y confiabilidad.

  • Implementar mecanismos automatizados de monitoreo, detección de errores y alertas para los pipelines de datos.

  • Optimizar procesos de Spark y Databricks para mejorar el rendimiento y reducir los costos de procesamiento en la nube.

  • Validar, documentar y publicar datasets certificados para su consumo por equipos de Analytics, Business Intelligence y Data Science.

  • Diagnosticar y resolver incidentes críticos en ambientes productivos, implementando acciones correctivas y preventivas.

  • Establecer y promover estándares técnicos, buenas prácticas de desarrollo, pruebas, documentación y despliegue.

  • Colaborar con equipos multidisciplinarios para garantizar la disponibilidad de datos confiables para iniciativas analíticas y de Machine Learning.

Requisitos

  • Licenciatura en Ingeniería, Ciencias de la Computación, Matemáticas, Actuaría, Economía, Finanzas o carreras afines.

  • Entre 4 y 7 años de experiencia construyendo y manteniendo pipelines de datos en producción.

  • Experiencia trabajando con SQL avanzado.

  • Dominio de PySpark y Apache Spark.

  • Experiencia práctica con Databricks y Delta Lake.

  • Conocimiento de arquitecturas Lakehouse y del modelo de capas bronze, silver y gold.

  • Experiencia con herramientas de orquestación como Apache Airflow o Prefect.

  • Experiencia en diseño de pipelines escalables y optimización de procesos de datos en la nube.

  • Conocimiento de prácticas de calidad, monitoreo, documentación y gobierno de datos.

  • Experiencia colaborando con equipos de Data Science, Machine Learning, Analytics Engineering o Business Intelligence.

Competencias

  • Pensamiento analítico y resolución de problemas complejos.

  • Orientación a la calidad, eficiencia y mejora continua.

  • Capacidad para diagnosticar y resolver incidentes en producción.

  • Comunicación efectiva y colaboración con equipos multidisciplinarios.

  • Autonomía, iniciativa y aprendizaje continuo.

  • Liderazgo técnico y capacidad para compartir conocimientos y promover buenas prácticas.

Similar jobs

CRH Talento de IT Apply