Scopra le basi di Apache Airflow e come eseguirlo con Google Cloud Composer, il servizio di orchestrazione completamente gestito per workflow distribuiti su più cloud provider e data center on-premises.
In DoiT International ci impegniamo ad affiancare i clienti nel loro percorso verso il cloud. Una delle difficoltà più ricorrenti è dover adottare un servizio cloud senza averne esperienza, ritrovandosi davanti a una curva di apprendimento decisamente ripida.
Google Cloud Composer è proprio uno di quei servizi con una curva di apprendimento tutt'altro che banale.
Cloud Composer è un servizio di orchestrazione completamente gestito che consente di eseguire workflow distribuiti su più cloud provider e data center on-premises. Si basa su Apache Airflow e utilizza Python per lo scripting.
Partendo da zero, di solito si finisce per perdere parecchio tempo a saltare tra la documentazione di Cloud Composer e quella di Apache Airflow.
Per semplificare i primi passi con Cloud Composer, ho scritto un mini-book che offre un breve corso sui fondamenti di Apache Airflow e su come eseguirlo con Cloud Composer sulla Google Cloud Platform.
Il mini-book
Può leggere il mio mini-book qui:
📘 Getting started with Apache Airflow on Cloud Composer
Il mini-book affronta i seguenti argomenti:
- Apache Airflow e i suoi concetti chiave
- Capire Google Cloud Composer
- Configurare Airflow
- Costruire pipeline Airflow
- Scrivere DAG
- Scrivere plugin personalizzati
- Testare Airflow
- Continuous Integration (CI) e Continuous Delivery (CD)
Il mini-book è open source (MIT) ed è disponibile su GitHub. Ogni contributo è benvenuto: non esiti ad aprire una pull request su GitHub oppure a segnalare una nuova issue con suggerimenti, commenti o domande.
Mi auguro che questo mini-book le sia utile nel suo percorso con Cloud Composer e con il cloud.
Continui a seguirci per i prossimi aggiornamenti!