Découvrez les bases d'Apache Airflow et comment l'exécuter avec Google Cloud Composer, un service d'orchestration entièrement géré pour des workflows pouvant s'étendre sur plusieurs fournisseurs cloud et data centers on-premise.
Chez DoiT International, nous avons à cœur d'accompagner nos clients tout au long de leur parcours cloud. L'un des défis qu'ils rencontrent fréquemment : ne pas avoir d'expérience avec un service cloud donné, devoir l'utiliser malgré tout, et se heurter à une courbe d'apprentissage particulièrement raide.
Google Cloud Composer fait justement partie de ces services dont la prise en main demande un réel effort.
Cloud Composer est un service d'orchestration entièrement géré qui permet d'exécuter des workflows pouvant s'étendre sur plusieurs fournisseurs cloud et data centers on-premise. Il repose sur Apache Airflow et utilise Python pour le scripting.
Quand on part de zéro, on passe vite beaucoup de temps à jongler entre la documentation de Cloud Composer et celle d'Apache Airflow.
Pour faciliter vos premiers pas avec Cloud Composer, j'ai rédigé un mini-livre qui propose un cours condensé sur les bases d'Apache Airflow et son exécution avec Cloud Composer sur la Google Cloud Platform.
Obtenir le mini-livre
Vous pouvez consulter mon mini-livre ici :
📘 Getting started with Apache Airflow on Cloud Composer
Au programme :
- Apache Airflow et ses concepts clés
- Comprendre Google Cloud Composer
- Mettre en place Airflow
- Construire des pipelines Airflow
- Écrire des DAG
- Développer des plugins personnalisés
- Tester Airflow
- Intégration continue (CI) et livraison continue (CD)
Le mini-livre est open source (MIT) et disponible sur GitHub. Les contributions sont les bienvenues : n'hésitez pas à soumettre une pull request ou à ouvrir une issue pour partager vos suggestions, commentaires ou questions.
J'espère que ce mini-livre vous sera utile dans votre parcours avec Cloud Composer et le cloud.
Restez connectés, d'autres ressources arrivent !