セットアップ
サービスアカウント1つで、BigQueryを完全に可視化
読み取り専用のサービスアカウントでBigQueryを接続するだけで、DoiTが課金エクスポート、INFORMATION_SCHEMAのジョブおよびストレージメタデータ、予約の使用状況を自動的に取り込みます。エージェントの導入も、クエリの書き換えも、カスタムパイプラインの構築も不要。接続から数時間で統合レポートを確認できます。
できること
BigQuery運用の現実に応える設計
データチームやFinOpsのリーダーがBigQuery環境を接続する際に、実際に求めている機能を揃えました。
クエリ単位のコスト帰属
スキャンバイト数とスロットミリ秒を、実行したユーザー、プロジェクト、データセット、スケジュールジョブに紐付けます。
リアルタイム異常検知
クエリやスロットの急増を、月末ではなく数分以内に検知して通知します。
スロットのライトサイジング
エディション、オートスケーリング、予約サイズが実際の需要とずれている箇所を可視化します。
ストレージとコンピュートの分離
すべてのデータセットで、アクティブ・長期・物理ストレージをクエリコストと切り分けて把握できます。
高コストクエリの検出
スキャンバイト数とスロット消費の上位クエリを、定期実行で繰り返しコストを生むクエリも含めて浮き彫りにします。
ガバナンスと予算管理
ラベルの整備を手作業で追いかけることなく、プロジェクト単位の予算とクエリクォータを設定できます。
BigQueryのネイティブビューでわかるのは「何が実行されたか」まで。Cloud Intelligence™は、そこから先の行動を支援します。
INFORMATION_SCHEMAの、その先へ
マルチプロジェクトの統合ビュー
すべてのBigQueryプロジェクトとフォルダを横断する統合ビューから、任意のデータセットやジョブまでドリルダウンできます。
リアルタイム異常アラート
プロジェクト、ユーザー、ラベルを横断する機械学習ベースの検知結果を、Slackまたはメールに通知します。
予約プランニング
容量を購入する前に、BigQueryエディションとスロットコミットメントを実際のジョブ履歴に照らしてシミュレーションできます。
ラベルと配賦の整備
ラベルのない支出を発見し、配賦ルールを適用し、共有データセットを財務部門の求めるとおりに分割できます。
パイプラインのコスト配賦
スケジュールクエリ、dbtの実行、Dataformのワークフローを、所有するチームに帰属させます。
Forward Deployed Engineers
世界トップクラスのクラウドアーキテクトが、お客様のチームの一員として最適化の実装を支援します。
急成長企業が選ぶCloud Intelligence™
導入後90日以内の平均削減率
平均導入期間
“DoiTの信頼性へのこだわりとシステムの柔軟性のおかげで、エンジニアの手を一切煩わせることなく、Amazon EKSのワークロードを安全に最適化できています。”
Oren Ashkenazy
Fiverr DevOps・クラウド担当ディレクター
さあ、BigQueryプロジェクトを接続しましょう
スロットミリ秒とスキャンバイト数を、意思決定につなげませんか。
Frequently asked
questions
複数プロジェクトにまたがるBigQueryコストを一元的に確認できますか？
課金アカウントを一度接続するだけで、Cloud Intelligence™がすべてのプロジェクトのBigQuery課金エクスポートとINFORMATION_SCHEMAメタデータを取り込みます。プロジェクト、データセット、ラベル、ユーザー、ジョブタイプ別に、単一のビューから支出を分析できます。
BigQueryの使用状況データをCloud Intelligence™に接続するには何が必要ですか？
読み取り専用のサービスアカウントに、課金エクスポートとINFORMATION_SCHEMAへのアクセス権を付与するだけです。データの取り込み、正規化、ジョブ単位のレポート作成はDoiTが担います。ほとんどのチームが1日以内に稼働を開始しています。
BigQuery支出の大部分を占めるクエリ、ユーザー、データセットを特定できますか？
コスト・使用状況レポートを使えば、BigQueryの総支出から特定のジョブ、スケジュールクエリ、ユーザーまでドリルダウンできます。INFORMATION_SCHEMAに対するSQLを自分で書かなくても、ラベル、プロジェクト、データセット、クエリタイプで絞り込めます。
BigQueryのコスト異常は発生時にすぐ通知されますか？
異常検知は、プロジェクト、ユーザー、ラベルの各ディメンションを対象に継続的に実行されます。スキャンバイト数やスロット消費が急増すると、請求書に表れるずっと前に、推定原因を添えたSlackまたはメールのアラートが届きます。
オンデマンドと、予約を使うBigQueryエディションはどう使い分ければよいですか？
Cloud Intelligence™は、過去のジョブパターンをオンデマンド、Standard、Enterprise、Enterprise Plusの各エディションと照らし合わせてモデル化し、推測ではなく実際の使用状況に基づいてスロットコミットメントとオートスケーリング設定を推奨します。
Cloud Intelligence™はBigQueryのストレージコストにも対応していますか？
データセットおよびテーブルごとに、アクティブストレージ、長期ストレージ、物理課金と論理課金を切り分けて表示します。課金モデルの切り替えやパーティション有効期限の設定によって支出を大きく削減できるテーブルは、フラグを立ててお知らせします。
すでにBigQuery標準の管理機能やINFORMATION_SCHEMAビューを使っています。Cloud Intelligence™で何が変わりますか？
ネイティブのビューが示すのは、ジョブとストレージの生のメタデータです。Cloud Intelligence™はプラットフォームとして、マルチクラウドの可視化、プロアクティブな推奨、リアルタイム異常検知、ガバナンス、予約プランニング、そしてデータが示す内容を実行に移すためのForward Deployed Engineersによる支援を提供します。
Cloud Intelligence™はBigQueryにどのようなアクセス権を持ち、どう保護されていますか？
Cloud Intelligence™は、課金エクスポートとINFORMATION_SCHEMAに対する最小権限の読み取り専用サービスアカウントを使用します。お客様の承認なしにテーブルへのクエリ実行や変更を行うことは一切なく、プラットフォームはSOC 2 Type II認証を取得しています。