Apache Airflowの基本と、複数のクラウドプロバイダーやオンプレミスのデータセンターをまたいでワークフローを実行できるフルマネージドのオーケストレーションサービス、Google Cloud Composerの使い方を学びましょう。
DoiT Internationalは、お客様のクラウド活用を全力で支援しています。よくある課題のひとつが、使った経験のないクラウドサービスを導入する必要に迫られ、急な学習曲線に直面するというものです。
_Google Cloud Composer_も、まさに学習曲線がやや急なサービスのひとつです。
Cloud Composerは、複数のクラウドプロバイダーやオンプレミスのデータセンターをまたぐワークフローを実行できる、フルマネージドのオーケストレーションサービスです。Apache Airflowをベースに構築されており、スクリプトにはPythonを使います。
ゼロから始める場合、Cloud ComposerとApache Airflowのドキュメントを行き来するだけでかなりの時間を取られてしまいがちです。
そこでCloud Composerをよりスムーズに使い始められるよう、Apache Airflowの基本と、Google Cloud Platform上のCloud Composerでの実行方法をコンパクトに学べるミニブックを執筆しました。
ミニブックを読む
ミニブックはこちらからお読みいただけます。
📘 Getting started with Apache Airflow on Cloud Composer
本書で扱う主な内容は次のとおりです。
- Apache Airflowの概要と基本概念
- Google Cloud Composerの仕組み
- Airflowのセットアップ
- Airflowパイプラインの構築
- DAGの記述
- カスタムプラグインの作成
- Airflowのテスト
- 継続的インテグレーション(CI)と_継続的デリバリー_(CD)
本ミニブックはオープンソース(MITライセンス)としてGitHubで公開しています。コントリビューションも大歓迎です。ご提案・ご意見・ご質問があれば、お気軽にGitHubのプルリクエストやIssueでお寄せください。
本書が、Cloud Composerやクラウド活用の一助となれば幸いです。
今後のアップデートもどうぞお楽しみに!