BI Engineのworkloadsを可視化するData Studioダッシュボードのセットアップ方法を解説します。
DoiTが用意したData Studioダッシュボードで、BI Engineのworkloadsを手軽にモニタリング
BI Engineのworkloadsをモニタリングするのは、決して簡単ではありません。
Google BI Engineは正式リリースされ、すでに多くのDoiTのお客様にご利用いただいています。Lookerと組み合わせるケースのほか、TableauをはじめとするBIツールと併用するケースもあります。DoiT自身もAdvanced Cloud Cost Analyticsプラットフォームに採用しており、サブ秒のクエリ応答を実現しています。
とはいえ、BI Engineのworkloadsを監視するという点では、まだ手薄な部分があります。
Cloud MonitoringのMetric Explorerでは、BI Engine予約の使用率(Utilization)と予約サイズ(Size)を確認できます。
しかしこれだけでは、BI Engineによって高速化されたクエリがどれだけあったのか、そして何より、高速化されなかったクエリがなぜそうなったのかまでは把握できません。BI EngineにもCloud Consoleにも、成功・失敗の傾向を示す統計ダッシュボードは用意されていないのが現状です。
本記事執筆時点で、こうした情報を取得できるのはBigQueryのInformation Schema、具体的にはJOBS_BY_PROJECTテーブルへのクエリ、もしくはコマンドライン(bq show --format=prettyjson -j job_id)からに限られます。
しかも、そこから意味のあるインサイトを引き出すには、データの読み解き方とBI Engineの内部挙動の両方を理解しておく必要があります。
そこでDoiTでは、BI Engineのworkloadsを手軽にモニタリングできるData Studioダッシュボードを用意しました。
このダッシュボードで使用しているクエリはこちらで公開しています。
セットアップ手順
前提条件
ダッシュボードの作成とINFORMATION_SCHEMAテーブルへのクエリを行うには、以下のINFORMATION_SCHEMAテーブルへのアクセス権が必要です。
- INFORMATION_SCHEMA.JOBS_BY_PROJECT
データソース
1.1 データソースをコピーする
Data Studioにログインし、以下のデータソースのコピーを作成します。データソースのコピー方法の詳細はこちらをご覧ください。https://datastudio.google.com/datasources/d42dfc2c-71d4-46a3-ba38-bdd080e9472f
1.2 GCPの請求先プロジェクトを正しく設定する
BI Engineの予約を行ったプロジェクトを指定してください。
1.3 データソースを変更する
本例ではregion-euを使用していますが、BI Engineの容量を予約しているリージョンに合わせて変更してください。INFORMATION_SCHEMAビューでproject-id、region、ビューのリージョナリティを指定するには、以下の形式を使用します。
`PROJECT_ID`.`region-REGION_NAME`.INFORMATION_SCHEMA.VIEW
ダッシュボード
2.1 ダッシュボードをコピーする
公開ダッシュボードのコピーを作成します。新しいデータソースの選択を求められたら、手順1でコピーしたデータソースを選択してください。「レポートを作成」をクリックし、任意の名前にリネームします。
2.2 ダッシュボードを調整する
レポートのコピーが完了してデータが表示されたら、レポート内の日付ピッカーを目的の期間(例:直近1週間、直近14日間、直近28日間など)に変更します。
これで、BI Engineのworkloadsに関する有益なインサイトを得る準備が整いました。