BigQuery Compressed Storage 料金体系の概要

数か月前、Googleは BigQuery の「Physical Storage Pricing」をプライベートプレビューとして発表しました。そして本日、Google Cloud Data Summit にて、本機能が 2023年7月5日に一般提供 (GA) を開始することが明らかになりました!

3つの Editions のいずれかをご利用中のお客様、またはオンデマンドのみをご利用のお客様は、新名称「Compressed Storage」として本機能をご利用いただけます。

BigQuery に大量のデータを保存している場合、本機能によって請求額を劇的に削減できる可能性があります。

プレビュー期間中、一部のお客様はパフォーマンスを維持したまま最大50%のコスト削減を実現しました。詳細は最新のPlaygendary 様の事例をご覧ください。

1月の時点で、GCP請求書や DoiT Console (弊社をご利用の場合) 上でストレージの新しい SKU 説明にお気付きになった方もいるかもしれません:

これは単なる名称変更で、「Active Storage」は「Active Logical Storage」へ、「Long Term Storage」は「Long Term Logical Storage」へとそれぞれ改称されました。

Compressed Storage の課金モデルを有効にすると、データセット内のテーブルが消費する圧縮後のバイト数に基づいてストレージ料金が算出されます。データ圧縮は自動で行われ、ユーザー側でチューニングや調整はできません。弊社の社内テストでは 1:6〜1:12 の圧縮率が確認されましたが、データ量やデータモデリングによって大きく変動します。パフォーマンスへの影響はなく、クエリ性能はこれまでと変わりません。変わるのはストレージの料金モデルだけです。

Compressed Storage の課金モデルは、元データのギガバイトあたりの単価が標準の論理ストレージ課金モデルと比べておよそ2倍に設定されています。それでも、ストレージ容量自体の削減幅が2倍をはるかに上回るため、トータルでは大きなコスト削減につながります。

新しい課金モデルをユーザーに伝えるため、BigQuery UI にもいくつかの変更が加えられています:

1. 各テーブルで Compressed Storage Size、Logical Storage Size、Time Travel Storage Size の詳細情報を確認できるようになりました
2. Information Schema ビューが更新され、専用のストレージビューが追加されました。

Compressed Storage は新しい SKU として提供されます。US マルチリージョンの場合、Active Compressed Storage は 1GB あたり $0.04、Long Term Storage は 1GB あたり $0.02 です。お使いのリージョンの実際の料金については、公式の料金ページをご確認ください。

(注: SKU は今後、Compressed Storage への最新のリブランディングを反映する形で更新される予定です)

どの程度のコスト削減が見込めるかを把握しやすいよう、データセットごとのコストを一覧表示するクエリをご用意しました。

なお、プレビュー時と異なり新たに 7日間のフェイルセーフ期間が導入された点にもご注意ください。これは、タイムトラベルウィンドウの経過後さらに7日間、削除データがフェイルセーフストレージに保持される仕組みです。期間は変更不可で、削除データを取り戻すには Google への問い合わせが必要となり、クエリで参照することはできません。

オンデマンドモデルのみをご利用のお客様、および定額制のスロット commitments から BigQuery Editions への移行を完了したお客様は、新しい物理ストレージ課金モデル (圧縮後のデータサイズに基づく課金) をご利用いただけます。

つまり、定額制のスロット commitments を保有していなければ、Compressed Storage 料金の対象となります。commitments が残っている場合は、解約するか Editions へ完全移行する必要があります。それ以外の状態では Compressed Storage Pricing を有効化できませんのでご注意ください。

すでにパブリックプレビューに参加されているお客様は、引き続き対象となります。

Compressed Storage の課金モデルへ切り替えるには、API 呼び出し、bq CLI コマンド、または SQL のいずれかを利用します。公式ドキュメントには、プロジェクト内のすべてのデータセットを一括更新するスニペットなど、さまざまな例が掲載されています。たとえば SQL では次のように記述します:

## データセットを physical storage 課金モデルに更新

ALTER SCHEMA DATASET_NAME

SET OPTIONS(

storage_billing_model = 'physical');

ただし、機能を有効化する前に、Google のセールス担当者または DoiT のアカウントマネージャーまでご連絡ください。

以下に2つのテーブルの例を示します。1つ目のテーブルではストレージが93%削減され、コストも75%減少します。一方、2つ目のテーブルでは Compressed Storage が逆効果となり、コストが17,500%増になってしまいます。

新たに提供開始された3つの Editions について詳しく解説した記事をこちらでご覧いただけます。

• 4月6日: 利用対象条件と7日間のフェイルセーフ期間を追記、GA 日付を修正