Google BigQuery オンデマンドのリアルタイムコスト異常検知を提供開始

DoiT がお客様の Google Cloud コスト管理を支援する方法に、大幅なアップグレードを実施しました。Google BigQuery オンデマンドに対応したリアルタイム異常検知です。予期しない BigQuery のコストスパイクについて、1時間以内にアラートを受け取れるようになりました。

新機能の概要

これまで、BigQuery の異常インサイトは翌日の課金ファイル取り込みに依存していました。つまり、今日の午後2時に問題のあるクエリが実行された場合、それを把握できるのは翌日でした。

今回の BigQuery オンデマンド向けリアルタイム検知パイプラインでは、BigQuery の使用状況メタデータをリアルタイムで継続的に取り込み・分析し、異常な使用パターンを検出して、翌日ではなく1時間以内に Slack またはメールでアラートを送信します。

なぜ重要なのか

DoiT の BigQuery エキスパートである Sayle Matthews が指摘するように、チェックされていないクエリが短時間で多額のコストを発生させるリスクは非常に高いです。

「最大の課題のひとつは、任意の時点での請求額を把握し、『暴走クエリ』が発生した際にアラートを出せるようにすることです。1回あたり2,000米ドルのコストがかかるクエリが1分以内に実行され、さらにそれが短時間に何度も繰り返し実行されたケースも確認しています。こうしたミスは、数日から数週間後まで気づかれない巨額の請求につながります。」

BigQuery オンデマンドのリアルタイム検知により、以下のことが可能になります。

• 暴走クエリを数分でキャッチ：誰も気づかないうちに、誤ったクエリや非効率なクエリがコストを積み上げるのを防止します。
• オペレーションミスからの保護：異常なクエリアクティビティが支出に影響を与え始めた際にアラートを受け取れます。
• セキュリティ体制の強化：リアルタイムのコスト変動は、不正なデータアクセスやシステム侵害の兆候を示す場合があります。

必要な操作

この機能は、Enhanced、Premium、または Enterprise の有料サブスクリプションをご利用で、Google Cloud アカウントを接続済みのすべての DoiT のお客様がご利用いただけます。有効にするには、以下の手順に従ってください。

1. Google Cloud のアクセス＆機能ページで、対象のサービスアカウントを見つけます。
2. プロジェクト接続の横にあるケバブメニュー（⋮）を選択し、「Edit」を選択します。
3. 「Real-time Anomalies – BigQuery」チェックボックスを選択して機能を追加します。
4. 「Generate gcloud commands」を選択します。
5. サイドパネルに表示される手順に従って、カスタムロールを更新します。
6. 「Done」を選択して機能を有効にします。

BQ リアルタイム異常検知を有効にする

今後の予定

次のステップとして、BigQuery リザベーションにも同様のサポートをリリースし、BigQuery 環境全体に同じリアルタイムインテリジェンスを提供する予定です。

リアルタイム異常検知の有効化に関する詳細は、ヘルプドキュメントをご参照いただくか、サポートチケットを作成してください。