Cloud Intelligence™
BigQueryでGrafanaを動かす！
このページはEnglish、Deutsch、Español、Français、Italiano、Portuguêsでもご覧いただけます。
About Vadim Solovey
Founded DoiT in 2011 and have been here ever since — in every flavor of CTO, co-CEO, and now CEO. I started my career in 1999 building data centers before anyone called it "the cloud," and I've spent the two decades since trying to deliver on what the cloud was actually supposed to be. I still write code most weeks.
My personal page
BigQueryは分析向けで最高クラスのパフォーマンスを誇るクラウドデータウェアハウス。Grafanaは美しい分析と監視を実現するオープンプラットフォームです。両者を組み合わせるのは、ごく自然な発想ではないでしょうか。私たちもそう考えました！
時系列データの可視化にGrafanaを使っていない企業は、もはやほとんどないと言ってよいでしょう。監視、アラート、分析、あるいはそのすべてが目的かもしれません。GrafanaはInfluxDB、Graphite、Elasticsearchをはじめ、主要な時系列データソースに幅広く対応しています。
Google BigQueryは、超大規模なデータセットに対しても圧倒的な速度でクエリを実行できることから、データ分析分野で広く使われているクラウドデータベースです。
ありがたいことに、Grafanaは新しいデータソースプラグインを開発するためのインターフェースをドキュメント付きで公開しています。そこでDoiT Internationalソリューションチームの同僚Aviv Lauferが、Google BigQuery用のデータソースプラグインを開発しました。
活用シーンはほぼ無限大です。ログ、課金データ、売上指標、トラフィック分析、デジタルマーケティング施策のトラッキングなど、あらゆるユースケースのダッシュボードに使えます。
新しいデータソースプラグインのデモには、Google Cloudユーザーなら誰もがピンと来るであろう「Google Cloudの課金データ」を選びました。Google Cloudでは、詳細な課金情報をBigQueryにエクスポートするように設定できます[ 1]。課金データをBigQueryにエクスポートすれば、Google Cloudの利用コストを日単位で細かく把握できるようになります。
BigQuery上のGoogle Cloud課金データを可視化したGrafanaダッシュボード
BigQueryデータソースプラグインはまだGrafanaの「公式」サポート対象ではないため、プラグインのGitリポジトリから手動でインストールする必要があります[ 2]。
たいていの場合、Grafanaサーバー上でコマンドを1つ実行し、Grafanaを再起動するだけでインストールは完了します。詳しい手順はリポジトリのインストール手順[ 3]を参照してください。
grafana-cli \--pluginUrl \https://github.com/doitintl/bigquery-grafana/archive/0.3.0.zip
Cloud bill shouldn't be a mystery
One platform for AI and Cloud optimization.
\ plugins install doitintl-bigquery-datasourceインストールが完了すれば、すぐに使い始められます。プラグインはGoogle Cloud IAMでの認証が必要なので、サービスアカウントを作成し、そのJSONキーをアップロードしてください。
認証が済めば、最初のダッシュボードを作成する準備は完了です。プラグインのウィザードに沿って進めるだけで、ベースとなるクエリをビジュアルに組み立てられます。
まずは一覧からGoogle Cloudプロジェクトを選び、データセットとテーブル名を指定します。プラグインがテーブルのカラム（およびパーティションの有無などを示すメタデータ）を取得してくれるので、あとはドロップダウンから選ぶだけです。
続いて可視化したいフィールドと必要な集計を選べば、あっという間にデータが表示されます！
プラグインのウィザードでダッシュボードを設定。高解像度版はこちらからご覧いただけます。
クエリを自分で記述したい場合は、「Edit SQL」ボタンをクリックすればOKです。
Edit SQLモード
パーティションテーブルであることをプラグインが自動的に判別し、_PARTITIONTIMEフィルタを付与してくれるので、指定した時間範囲のデータだけがスキャン対象になります。地味に便利なポイントです！
BigQuery用Grafanaプラグインが、私たちと同じくらい皆さんの役に立てば嬉しく思います。ぜひ皆さんのユースケースもお聞かせください！まだ生まれたばかりのプラグインですが、Issueはきめ細かく確認しており、いただいたご要望には一つひとつ迅速に対応することをお約束します[ 4]。
それでは、楽しいチャート作成を！
もっと記事を読みたい方はブログをチェック、またはVadimのTwitterをフォローしてみてください。
