Conoce los fundamentos de Apache Airflow y cómo ejecutarlo con Google Cloud Composer, un servicio de orquestación totalmente gestionado para correr workflows que pueden abarcar varios proveedores de nube y data centers on-premises.
En DoiT International acompañamos a nuestros clientes en su recorrido por la nube. Uno de los retos más habituales que enfrentan es no tener experiencia con un servicio de nube concreto, verse en la necesidad de usarlo y encontrarse con una curva de aprendizaje bastante pronunciada.
Google Cloud Composer es uno de esos servicios con una curva de aprendizaje algo empinada.
Cloud Composer es un servicio de orquestación totalmente gestionado para ejecutar workflows que pueden abarcar varios proveedores de nube y data centers on-premises. Está construido sobre Apache Airflow y utiliza Python para los scripts.
Si partes desde cero, lo más probable es que pases mucho tiempo saltando entre la documentación de Cloud Composer y la de Apache Airflow.
Para facilitarte los primeros pasos con Cloud Composer, escribí un mini-libro a modo de curso breve sobre los fundamentos de Apache Airflow y cómo ejecutarlo con Cloud Composer en Google Cloud Platform.
Descarga el mini-libro
Puedes leer mi mini-libro aquí:
📘 Primeros pasos con Apache Airflow en Cloud Composer
En el mini-libro encontrarás:
- Apache Airflow y sus conceptos clave
- Cómo entender Google Cloud Composer
- Configuración de Airflow
- Cómo crear pipelines en Airflow
- Escribir DAGs
- Escribir plugins personalizados
- Testing en Airflow
- Continuous Integration (CI) y Continuous Delivery (CD)
El mini-libro es de código abierto (MIT) y está disponible en GitHub. Las contribuciones son más que bienvenidas. No dudes en abrir un pull request en GitHub o crear un nuevo issue con cualquier sugerencia, comentario o pregunta.
Espero que este mini-libro te sea útil en tu recorrido con Cloud Composer y la nube.
¡Atento a las próximas actualizaciones!