Senior Amazon Web Services Data Engineer - Data Migration & Automation

Descripción de la empresa

Inetum es una compañía global de servicios de tecnología e innovación digital, presente en más de 26 países. En Colombia, Inetum ofrece soluciones tecnológicas avanzadas que impulsan la transformación digital de empresas en diversos sectores, brindando servicios en consultoría, desarrollo de software, integración de sistemas, outsourcing y soporte técnico.

Con un enfoque en la agilidad y adaptabilidad, Inetum Colombia busca crear valor para sus clientes mediante la implementación de tecnologías innovadoras que mejoren la eficiencia y productividad. Nuestro equipo está compuesto por expertos en diversas áreas tecnológicas que trabajan en un entorno colaborativo, dinámico y orientado a resultados. Únete a Inetum y sé parte de una compañía que está transformando el futuro de las empresas a través de la tecnología.

Descripción del empleo

Buscamos un Senior AWS Data Engineer / Data Migration & Automation Engineer con experiencia sólida en ingeniería de datos, migración de bases de datos, desarrollo y transformación de procesos ETL/ELT y automatización de soluciones sobre AWS.
La persona será responsable de llevar procesos existentes de bases de datos, SQL y ETLs hacia AWS, asegurando que la migración sea técnicamente correcta, automatizada, trazable, escalable y operable en los diferentes ambientes.
Un aspecto fundamental del rol es que la solución no quede únicamente desarrollada, sino que todo el ciclo de desarrollo y despliegue quede automatizado mediante GitHub y GitHub Actions, siguiendo buenas prácticas de CI/CD.

Requisitos

1. Responsabilidades principales:

Migración de bases de datos
● Analizar bases de datos y plataformas existentes para identificar estructuras, dependencias, volumen, complejidad y riesgos de migración.
● Diseñar y ejecutar estrategias de migración hacia AWS.
● Configurar y operar AWS Database Migration Service (AWS DMS) para migraciones y replicaciones.
● Gestionar cargas iniciales, cargas incrementales y procesos de sincronización.
● Participar en actividades de cutover, validación y estabilización de las plataformas migradas.
● Realizar troubleshooting de errores de migración, conectividad, rendimiento y consistencia de datos.

SQL y bases de datos

● Desarrollar y mantener SQL avanzado.
● Analizar y adaptar queries, vistas, stored procedures, funciones y procesos SQL existentes.
● Identificar diferencias entre motores de bases de datos origen y destino.
● Optimizar consultas y procesos para mejorar rendimiento.
● Diseñar mecanismos de validación y reconciliación de información entre origen y destino.

ETL / ELT y AWS Glue

● Analizar procesos ETL existentes y comprender su lógica funcional y técnica.
● Migrar y rediseñar procesos ETL/ELT para ejecutarse sobre AWS.
● Desarrollar pipelines utilizando AWS Glue.
● Crear y administrar Glue Jobs, Crawlers, Workflows y Glue Data Catalog.
● Desarrollar transformaciones utilizando Python y/o PySpark.
● Diseñar procesos de ingesta, transformación y carga sobre S3 y otros servicios AWS.
● Automatizar la ejecución, dependencia y orquestación de los pipelines.
● Implementar controles de calidad y validaciones dentro de los procesos de datos.

Automatización y CI/CD

● Utilizar GitHub como plataforma de control de versiones y colaboración.
● Definir y mantener estrategias de branching, pull requests y code reviews.
● Diseñar e implementar pipelines de GitHub Actions.
● Automatizar procesos de build, testing, packaging y deployment.
● Automatizar despliegues hacia los diferentes ambientes: DEV, QA/UAT y PROD.
● Gestionar variables, secrets y configuraciones de forma segura.
● Implementar mecanismos de rollback y control de versiones.
● Integrar GitHub Actions con AWS para automatizar el despliegue de componentes de datos y ETL.
● Reducir al mínimo las actividades manuales en el ciclo de desarrollo y operación.

Infraestructura y operación AWS

● Implementar infraestructura y configuraciones mediante Infrastructure as Code.
● Trabajar preferentemente con Terraform y/o AWS CloudFormation.
● Configurar monitorización, logging y alertas utilizando Amazon CloudWatch.
● Implementar y operar servicios de AWS orientados a datos, automatización y procesamiento.
● Participar en el diseño de soluciones escalables, seguras y mantenibles

2. Requerimientos técnicos:

AWS
Experiencia práctica y demostrable con:
● AWS Glue
● AWS DMS
● Amazon S3
● Amazon CloudWatch
● AWS IAM
● AWS Lambda
● AWS Step Functions y/o herramientas de orquestación equivalentes
● EventBridge y/o mecanismos de automatización de eventos

Data Engineering
● ETL / ELT
● Data pipelines
● Data migration
● Data transformation
● Data validation y reconciliation
● Data quality
● Procesamiento de grandes volúmenes de datos

SQL y bases de datos
● SQL avanzado
● Queries complejas
● Joins
● CTEs
● Window functions
● Stored procedures
● Functions
● Views
● Optimización de consultas
● Experiencia con bases de datos relacionales

Lenguajes
● Python
● PySpark como conocimiento altamente deseable para AWS Glue

GitHub y DevOps
● Git
● GitHub
● GitHub Actions
● CI/CD
● Pull Requests
● Branching strategies
● Automated testing
● Automated deployments
● Gestión de secrets y variables
● Integración de GitHub con AWS

Infrastructure as Code
● Terraform y/o CloudFormation

Información adicional

Experiencia con bases de datos
Se valorará especialmente experiencia con uno o varios de los siguientes motores:
● Oracle
● Microsoft SQL Server
● PostgreSQL
● MySQL
El candidato debe ser capaz de entender un entorno de base de datos existente, identificar dependencias y adaptar la solución para el entorno AWS destino.

Competencias profesionales
● Capacidad analítica.
● Orientación a la automatización.
● Atención al detalle.
● Orientación a calidad de datos.
● Capacidad de troubleshooting.
● Pensamiento estructurado.
● Buenas prácticas de desarrollo.
● Capacidad para documentar soluciones técnicas.
● Trabajo colaborativo.
● Capacidad para gestionar prioridades y entregas.
● Orientación a resultados.

Perfil técnico esperado
El candidato ideal debe ser capaz de trabajar end-to-end en una migración de datos.
Como referencia, debería poder participar en un flujo como:
Base de datos origen → AWS DMS → Amazon S3 → AWS Glue → Transformaciones SQL / Python / PySpark → Base de datos o Data Warehouse destino → Validación y reconciliación → CI/CD con GitHub Actions → Monitorización con CloudWatch
Además, debe ser capaz de llevar este flujo desde el desarrollo hasta producción utilizando procesos automatizados y controlados.