Guía de precios de BigQuery Compressed Storage

Hace unos meses, Google anunció el "Physical Storage Pricing" de BigQuery en una vista previa privada. Hoy, durante el Google Cloud Data Summit, se anunció que esta funcionalidad pasará a disponibilidad general (General Availability) el 5 de julio de 2023.

Ya está disponible para cualquier cliente que use alguna de las tres Editions, o para cualquier cliente exclusivo on-demand, bajo el nuevo nombre "Compressed Storage".

Esta funcionalidad puede reducir drásticamente tu factura de BigQuery si almacenas grandes volúmenes de datos en BigQuery.

Durante la vista previa, algunos clientes lograron ahorros de hasta el 50% sin sacrificar rendimiento. Para más detalles, revisa nuestro último caso de éxito con Plegendary.

Es posible que en enero ya hayas notado una nueva descripción de SKU para Storage en tu factura de GCP o en la DoiT Console (si trabajas con nosotros):

Solo se trató de un cambio de nombre: "Active Storage" pasó a llamarse "Active Logical Storage" y "Long Term Storage" pasó a llamarse "Long Term Logical Storage".

Una vez que activas el modelo de facturación de almacenamiento comprimido, el precio del almacenamiento se calcula en función de los bytes comprimidos que ocupan las tablas de ese dataset. La compresión de datos se gestiona automáticamente y no se puede ajustar ni configurar manualmente. En nuestras pruebas internas, observamos tasas de compresión en rangos de 1:6 a 1:12. Sin embargo, esto varía bastante según el volumen y el modelado de los datos. No hay penalizaciones de rendimiento: las consultas seguirán siendo igual de rápidas que antes. Lo único que cambia es el modelo de precios del almacenamiento.

El modelo de facturación de almacenamiento comprimido tiene un costo por gigabyte original más alto —aproximadamente el doble— frente al modelo estándar de almacenamiento lógico. Aun así, el ahorro es considerable, ya que la reducción del almacenamiento en sí supera con creces ese doble.

Se hicieron algunos cambios en la interfaz de BigQuery para informar al usuario sobre el nuevo modelo de facturación:

1. Cada tabla muestra ahora información detallada sobre Compressed Storage Size, Logical Storage Size y Time Travel Storage Size.
2. Se actualizaron las vistas del Information Schema, que ahora cuentan con una vista de almacenamiento dedicada.

Compressed Storage aparecerá listado bajo nuevos SKUs. En la multi-región de US, pagas $0.04 por GB de almacenamiento comprimido activo, frente a $0.02 por GB de Long Term storage. Consulta la página oficial de precios para confirmar los precios exactos de tu región.

(Nota: con el tiempo, los SKUs se actualizarán para reflejar el rebranding más reciente a compressed storage).

Para que te hagas una idea más clara de cuánto podrías ahorrar, preparamos una consulta que lista los costos por dataset.

Ten en cuenta que (a diferencia de la vista previa) se introdujo un periodo fail-safe de 7 días, durante el cual los datos eliminados se conservan 7 días adicionales en almacenamiento fail-safe tras la ventana de time travel. No es configurable: hay que contactar a Google para solicitar los datos eliminados, ya que no se pueden consultar.

Los clientes que usan exclusivamente el modelo on-demand, y aquellos que ya completaron la migración de sus flat-rate slot commitments a BigQuery Editions, son elegibles para usar el nuevo modelo de facturación de almacenamiento físico, donde los cargos se basan en el tamaño comprimido de los datos.

En resumen, salvo que tengas flat-rate slot commitments, eres elegible para el precio de almacenamiento comprimido. Si aún tienes commitments activos, debes cancelarlos o migrar por completo a Editions. De lo contrario, no podrás activar Compressed Storage Pricing.

Si ya estás en la Public Preview, seguirás siendo elegible.

Si quieres cambiar al modelo de facturación de almacenamiento comprimido, puedes hacerlo mediante una llamada a la API, el comando bq CLI o SQL puro. La documentación incluye varios ejemplos, entre ellos un snippet para actualizar todos los datasets de un proyecto, como este en SQL:

## update the dataset to physical storage billing model

ALTER SCHEMA DATASET_NAME

SET OPTIONS(

storage_billing_model = ‘physical’);

Aun así, antes de activar la funcionalidad debes contactar a tu representante de ventas de Google o a tu account manager de DoiT.

A continuación encontrarás dos ejemplos de tablas. La primera tabla se beneficiaría de una reducción del 93% en almacenamiento, lo que se traduciría en un 75% menos de costo. En cambio, en la tabla 2, el almacenamiento comprimido sería una mala opción (+17500%).

Tenemos un artículo extenso que profundiza en las tres Editions recién lanzadas y que puedes consultar aquí.

• 6 de abril: se añadieron los criterios de elegibilidad y el periodo fail-safe de 7 días, y se corrigió la fecha de GA.