Data Engineer

Qué harás

• Diseñar, construir y mantener pipelines de datos eficientes y escalables para recoger, procesar y almacenar información de distintas fuentes, garantizando su calidad, integridad y disponibilidad.
• Modelar bases de datos, diseñando esquemas y estructuras que optimicen el almacenamiento, la consulta y el procesamiento según las necesidades de cada área de negocio.
• Desarrollar, gestionar y optimizar procesos ETL para extraer, transformar y cargar datos de diferentes orígenes en los sistemas de destino, asegurando una entrega puntual y precisa.
• Gestionar el data warehouse y la integración de datos en la nube con Snowflake y Azure Data Factory.
• Integrar datos procedentes de dispositivos IoT a través de Azure IoT Hub, habilitando su procesamiento y análisis en tiempo real.
• Orquestar flujos de trabajo con Apache Airflow para automatizar y programar los procesos ETL y otras tareas relacionadas con los datos.
• Monitorizar y optimizar los sistemas de datos en rendimiento, escalabilidad y costes.
• Velar por que los sistemas cumplan los estándares y buenas prácticas de seguridad, protegiendo los datos sensibles frente a accesos no autorizados.
• Colaborar estrechamente con analistas de datos y otras áreas para entender sus necesidades y desarrollar soluciones que respondan a ellas.

Imprescindible

• Más de 5 años de experiencia como Data Engineer o en un puesto similar.
• Dominio de Snowflake y Azure Data Factory.
• Experiencia en integración de datos IoT con Azure IoT Hub.
• Experiencia práctica con Apache Airflow para la orquestación de flujos de trabajo.
• Dominio de procesos y herramientas ETL.
• Sólidos conocimientos de SQL y experiencia con bases de datos relacionales.
• Conocimiento de los principios y buenas prácticas de modelado de datos.
• Conocimientos de cloud computing, especialmente en Azure.
• Experiencia con Python u otros lenguajes de scripting.
• Muy buen nivel de inglés.
• Capacidad de resolución de problemas, atención al detalle y buenas habilidades de comunicación y trabajo en equipo.

Deseable

Power BIAWSGoogle CloudApache SparkApache KafkaHadoopdbt

• Experiencia con otras plataformas cloud, como AWS o Google Cloud.
• Conocimientos de tecnologías big data como Spark, Kafka o Hadoop.
• Experiencia con Power BI u otras herramientas de visualización de datos.
• Conocimiento de marcos de gobierno y calidad del dato.
• Certificaciones de Azure o Snowflake (por ejemplo, Azure Data Engineer Associate o SnowPro Core).
• Experiencia con dbt u otras herramientas de transformación en el data warehouse.
• Experiencia en entornos industriales o de producción, o con datos de ERP como SAP.