TL;DR: Google está cambiando drásticamente el modelo de precios y de cómputo de BigQuery, tanto para cómputo como para almacenamiento. Se descontinuarán los nuevos pedidos de Flat-rate y Flex Slots. Las migraciones desde flat-rate hacia este nuevo modelo de facturación ocurrirán en abril, y los cambios de Precios comenzarán el 5 de julio de 2023.
Google anunció BigQuery Editions el 29 de marzo de 2023 y se trata de un cambio bastante grande respecto a los modelos de Precios que han existido durante la mayor parte, si no toda, su vida. En este artículo cubriremos el lado del cómputo de BigQuery y lo que cambió con estos anuncios. Mi colega Philipp escribió un artículo sobre los cambios de almacenamiento de BigQuery que acompañan a Editions aquí.
Al analizar los Precios, conviene mirar tanto los de cómputo como los de almacenamiento, ya que los aumentos de precio del cómputo descritos en este artículo se compensan, y en algunos casos se eliminan, con los nuevos cambios de almacenamiento.
Aviso: este artículo va a ser muy largo y, como autor, sé que distintas partes le servirán a distintas personas según su rol, así que te recomiendo recorrerlo y quedarte con lo que necesites. Volqué todo el conocimiento colectivo de mi equipo en DoiT International en este artículo que estás por leer, pensado para todos los clientes de GCP (los nuestros y los que aún no se suman a nuestra base de clientes), después de hacerle al equipo de BigQuery cada pregunta que se nos ocurrió que pudiera surgir sobre esto.
Google también publicó su guía sobre cómo elegir Editions y cómo determinar el sizing que necesitas aquí.
Como es bastante extenso, abajo dejamos una Tabla de Contenidos para facilitar la navegación dentro del artículo.
Tabla de Contenidos
Términos clave que debes conocer
¿Editions? ¿Qué locura es esta?
¿Qué pasa si tengo un commit existente?
Fin de una era para Flat-Rate y Flex Slots
¿Qué pasa con el uso On-Demand?
Resumen de cada BigQuery Edition
> Enterprise Plus Edition (EPE)
Autoscaling en BigQuery Editions
Estructura de las reservations
El cambio automático a BigQuery Editions
Combinar Flat-Rate y Editions con Autoscaling Para concluir
Términos clave que debes conocer
Aquí va un repaso rápido de los términos que aparecen a lo largo del artículo. Si ya conoces BigQuery, la mayoría te resultará familiar; si no, esta sección te servirá antes de seguir.
Algo de terminología antigua:
- Job
Un job es una acción que se ejecuta en BigQuery para hacer un trabajo: consultar, cargar datos, copiar datos, etc. El tipo de job más común es una query, y ambos términos se usan a menudo de forma intercambiable.
- Slot
Es la unidad básica de cómputo que BigQuery usa para hacer el trabajo de un job. Imagínalo como una "mini máquina virtual" que se une a muchas otras para procesar el trabajo de un job.
- Reservation
Una construcción que reserva un conjunto de slots para que los usen cero o más proyectos asociados a ella.
- Commitment
Una cantidad fija de slots reservados por un período comprometido, normalmente un mes o un año, a cambio de un precio menor.
- Admin Project Un proyecto designado como el "administrador" de las reservations y commitments de BigQuery. Por lo general, una organización tiene uno solo (o unos pocos) para contar con un "single pane-of-glass" desde donde gestionar los recursos de BigQuery de toda la organización. En proyectos flat-rate y de Editions, las SKUs de facturación de las reservations de toda la organización quedan asociadas a este proyecto.
- Flex Slots
Slots que se pueden agregar a una reservation para un aumento puntual en la cantidad de slots. Se facturan por segundo, con un período mínimo de facturación de 60 segundos.
- Idle Slot Un slot que en ese momento no está siendo utilizado por un job.
- Workloads
Un workload es un conjunto de jobs que se ejecutan dentro de un mismo proyecto.
La nueva terminología específica de Editions:
- Slot-Hour
La métrica básica de facturación para los proyectos de BigQuery Editions. Se define como un único slot utilizado en un job durante una hora. Nota: a lo largo del artículo me refiero a esto como slot/hora, ya que es un nombre más apropiado para describir lo que realmente es.
El cálculo para determinar los slot/horas usados es:
Slot/Hora Usado = <slots usados> * (<duración en segundos>/3600 segundos)
- Autoscaling Slots Una nueva construcción liberada en public preview a inicios de 2023 que escala la cantidad de slots desde un valor de baseline hasta un valor máximo de slots según lo necesite un workload en ejecución.
- Baseline Slots La cantidad mínima de slots que se mantienen "en caliente" y activos en una reservation de BigQuery Editions. Se utilizan primero, antes de que se active el autoscaling, y se facturan mientras la reservation esté activa.
- Max Slots
La cantidad máxima de slots a la que se autoescalará una reservation de BigQuery Editions. La cantidad de slots asignados nunca superará este número en todos los workloads de todos los proyectos asociados a la reservation padre.
Cronograma
Google publicó un cronograma con las fechas en que estos cambios entran en vigor. Es clave saber cuándo van a cambiar las cosas para llegar preparado.
29 de marzo de 2023
Google anunció BigQuery Editions y los cambios de Precios. Recuerda que los Precios no entran en vigor hasta el 5 de julio.
30 de marzo de 2023
BigQuery Slot Autoscaling pasa a ser Generalmente Disponible.
Abril de 2023 BigQuery Editions empieza a desplegarse a los clientes sin cambios de precio. En este momento, todos los commitments y reservations flat-rate cambian a versiones de Enterprise Edition con una convención de nombres etiquetada como flat-rate para diferenciarlos.
5 de julio de 2023
Fin de venta para flat-rate y flex slots de BigQuery para todos los clientes que no estén actualmente bajo contrato.
Empieza el cobro con los Precios de Editions para todos los proyectos no on-demand.
Empiezan los nuevos Precios on-demand de USD $6.25/TB (un aumento del 25 %) de datos escaneados para los proyectos on-demand.
¿Editions? ¿Qué locura es esta?
Google anunció Slots Autoscaling a principios de este año, lo que fue un sutil anticipo de BigQuery Editions. BigQuery Editions puede definirse como una renovación del modelo de Precios de cómputo de BigQuery para pasar de un modelo siempre activo a uno de pago por uso. En este artículo lo llamamos BigQuery Editions o, abreviado, Editions.
Como ya se insinuaba con Slots Autoscaling, esta es la base de Editions: a partir de ahora, el modelo estándar de facturación se basa en el concepto de slot/hora que, como definimos arriba, es el uso de un único slot durante una hora.
Como se llama Editions y no Edition, Google introdujo tres niveles distintos de servicio, características y Precios para elegir, llamados —cómo no— Edition.
La pregunta más común que recibimos cuando se lanzó Slots Autoscaling fue: ¿esto va a reemplazar los modelos de Precios actuales? En ese momento era una incógnita, pero como parte de este anuncio Google declaró que Editions reemplazará el modelo de Precios flat-rate, lo que también incluye Flex Slots. Esto entra en vigor el 5 de julio.
¿Puedo volver del futuro?
Sin un Delorean para viajar en el tiempo, lamentablemente, si actualmente estás en flat-rate, Google migrará el modelo flat-rate a Editions sin un método para volver al modelo de Precios anterior.
Esto significa que el 5 de julio de 2023 los commits mensuales se convertirán automáticamente al modelo de Precios de Editions, específicamente a Enterprise Edition que se menciona más abajo. Los commits anuales seguirán como están, ya que son un contrato cuyos precios no cambiarán durante un año.
Lamentablemente, si tienes un commit anual, quedas atado a esa cantidad de slots y no podrás comprar flex slots ni slots adicionales para tu commitment después del 5 de julio de 2023. Si necesitas slots adicionales más allá de eso, tendrás que cambiarte a Editions, salvo que Google anuncie un punto intermedio en el corto plazo.
Durante el mes de abril se llevará a cabo una "migración técnica" que convertirá todos los activos flat-rate en activos de Editions. En ese momento se eliminará la posibilidad de crear nuevas reservations flat-rate y la estructura de reservations existente "queda fija"; a partir de ahí solo será posible modificar las reservations flat-rate existentes, no crear nuevas.
¿Qué otros cambios vienen?
Antes de pasar al resumen de cada Edition, quiero responder algunas preguntas que seguramente todos tendrán en mente, ya que para cuando leas esto los medios y Twitter habrán difundido la noticia por todas partes. Así que entremos en estas preguntas y respuestas, para que cuando tu CEO te llame mañana a las 7 a. m. queriendo saber qué significa todo esto, puedas responderle.
Como dijimos arriba, el tan querido modelo de Precios flat-rate, favorito de los usuarios con gran volumen de lectura, va a desaparecer para dar paso a Editions. En abril, Google migrará todo proyecto en una reservation flat-rate a una Edition llamada Enterprise Edition, o EE para abreviar, que cubrimos más abajo. Esto NO afectará los Precios de esos proyectos en ese momento.
No debería haber degradación de rendimiento en los workloads existentes ni se notarán cambios desde la perspectiva del workload. Google nos aseguró que será una transición sin sobresaltos.
Esto se ejecuta de modo que se permitan modificaciones a los proyectos hasta el 5 de julio, cuando empiecen oficialmente los Precios de Editions.
¿Qué pasa si tengo un commit existente?
Si estás usando Precios flat-rate, tienes un commit, ya sea mensual o anual. El mensual es el predeterminado, así que si tienes dudas, lo más probable es que estés en ese; también puedes revisar tu factura y buscar SKUs llamadas "BigQuery Flat Rate Monthly for
Para los clientes con un commit mensual, que es el predeterminado, el 5 de julio estos commits se convertirán automáticamente a Enterprise Edition (más adelante en el artículo profundizamos en esto).
Si tienes un commit anual, los términos de ese commit no cambiarán hasta su aniversario, momento en el que todas las reservations asociadas pasarán a usar Enterprise Edition. Esto se debe a que un commit se considera un contrato legalmente vinculante por su duración.
Fin de una era para Flat-Rate y Flex Slots
El 5 de julio de 2023, los Precios flat-rate y la compra de flex slots quedan deshabilitados para todos los usuarios, salvo que tengas un contrato con tu equipo de cuentas de Google que permita explícitamente su uso más allá de ese período. Esto también significa que, aunque actualmente estés en un commit anual flat-rate, no podrás comprar flex slots después del 5 de julio.
Tomémonos un momento para que todos los fieles usuarios de flat-rate y flex slots nos unamos en un instante de silencio por su despedida.
Una vez terminado ese momento de silencio, sigamos.
Esto significa que, si quieres conservar tus slots flat-rate, ya sea para ganar tiempo y rediseñar tu entorno aprovechando estos cambios o por otras razones, lo mejor es comprar un commit anual antes de esa fecha. Conviene hacerlo bastante antes del 5 de julio, por si llegan a haber cambios al anuncio debido a una "fiebre del oro" de commitments.
¿Qué pasa con el uso On-Demand?
Un lector atento o un usuario casual de BQ se habrá dado cuenta de que hasta ahora solo hablé de los cambios en la facturación flat-rate y no del modelo on-demand.
Actualmente, el modelo de Precios predeterminado de BigQuery es el on-demand, que cobra USD $5 por terabyte de datos escaneados por queries o jobs en regiones de EE. UU. (también llamado "analysis" en la facturación y por muchos usuarios). A partir del 5 de julio, esto sube a USD $6.25 por terabyte de datos escaneados en EE. UU., y en otras regiones será un poco más alto. Recuerda que es un aumento del 25 %, y como los Precios pueden variar entre regiones, esos precios suben un 25 % también.
Las características y los límites existentes no cambian en absoluto para los clientes que decidan quedarse con on-demand. Lo cubro más adelante, pero los Precios on-demand tendrán el mismo conjunto de características que Enterprise Plus Edition, aunque conservan los límites tradicionales como los 2,000 query slots. Lo preguntaron varias veces, pero para responder: BigQuery ML (BQML) seguirá disponible con la facturación on-demand después del 5 de julio de 2023.
Una pregunta que ya surgió varias veces sobre on-demand y Compressed Storage: cuando usas Compressed Storage y on-demand, ¿se factura por el almacenamiento lógico (sin comprimir) o físico (comprimido) escaneado? La respuesta es que se factura por el almacenamiento sin comprimir, ya que BigQuery debe descomprimirlo antes de analizarlo. Este valor se refleja en los valores bytes_billed en INFORMATION_SCHEMA y en los sinks del audit log.
Edición: antes había dicho que on-demand no funcionaba con Compressed Storage, pero eso era incorrecto y, tras investigar un poco, descubrí que era una afirmación errónea. Si eres "Edition-eligible" —es decir, no tienes proyectos flat-rate en tu organización, tienes una reservation de Edition o estás en un modelo de facturación on-demand—, Compressed Storage está disponible. Atención al detalle de "organización": si te queda aunque sea una sola reservation flat-rate en tu organización por un commit anual al 5 de julio de 2023, no podrás utilizar compressed storage hasta que terminen los términos de ese commit.
Resumen de cada BigQuery Edition
Uno de los puntos que Google enfatiza más sobre estas Editions es que esto solo afecta el lado del precio del cómputo de BigQuery, no la mitad del almacenamiento. El almacenamiento no se ve afectado por estos cambios. Tenlo presente mientras lees el resto.
Antes de profundizar demasiado, ten en cuenta que una sola Edition puede aplicarse a una sola reservation, que puede contener cero o más proyectos. Esto significa que puedes mezclar y combinar Editions como te convenga entre reservations y proyectos, para optimizar uso o costos.
Standard Edition (SE)
- Autoscaling de slots
- Tope de 1600 slots por reservation como límite estricto
- Máximo de 100 queries concurrentes
- 5 reservations máximo por admin project
- Ejecuta los workloads de cómputo solo en una única zona
- Cumple con HIPAA
- Llaves administradas por Google
- Solo permite un máximo de 5 reservations por proyecto del tipo SE
- No puede ejecutar workloads de BigQuery ML
- El SLA es solo del 99.9 %, así que puede no ser recomendable para workloads de producción
Enterprise Edition (EE)
- Todas las características de Standard Edition
- Sin límite de slots ni de queries concurrentes
- Mínimo/baseline garantizado y capacidad reservada
- Aceleración de queries
- Caché de resultados entre usuarios
- Permite ejecutar workloads de BigQuery ML
- Soporte para object tables
- VPC Security Controls para evitar la exfiltración de datos
- Soporte para enmascaramiento de datos, así como seguridad por columna y por fila
- Redundancia zonal de cómputo y recuperación ante desastres (si una zona está caída, se pueden ejecutar jobs en otra zona de la misma región)
- Permite ejecutar jobs entre cloud providers (BigQuery Omni)
- 200 reservations máximo por admin project
- El SLA es del 99.99 %
Enterprise Plus Edition (EPE)
- Todas las características de Enterprise Edition
- Llaves de cifrado administradas por el cliente
- Soporte para FedRAMP, ITAR y otros requisitos de cumplimiento disponibles a través de Assured Workloads
- Redundancia regional de cómputo y recuperación ante desastres (si una región está caída, se pueden ejecutar jobs en otra región dentro de la misma multi-región)
¿Qué Edition necesito usar?
Como pasa DEMASIADO seguido en el mundo de la nube, la respuesta es: depende. Esa respuesta no ayuda mucho, así que entremos en materia con algunas preguntas básicas que te ayudarán a encaminar la elección correcta de Edition.
Primera pregunta: ¿necesitas que el cómputo de tu workload se ejecute en más de una sola zona? Si la respuesta es sí, puedes descartar de inmediato la Standard Edition para ese workload, ya que está limitada a una sola zona. De nuevo, esto aplica al aspecto de cómputo del workload, no al almacenamiento.
Siguiente pregunta: ¿tu workload va a necesitar más de 1,600 slots? Si la respuesta es sí, también queda fuera la Standard Edition. Google nos compartió que los 1,600 slots son un límite estricto y no permitirá la flexibilidad de burst que sí ofrecen actualmente los 2,000 query slots de on-demand.
La siguiente: ¿planeas usar BigQuery ML en alguno de tus workloads? Si es así, Enterprise Edition es la única versión que lo soporta.
Otra cosa a considerar: si te encuentras chocando muy seguido con el problema de las 100 queries concurrentes, te recomendaría revisar Enterprise Edition, ya que ahí se eliminó ese límite.
Un escenario cada vez más común: si necesitas administrar tu propia llave de cifrado, eso requerirá Enterprise Plus Edition.
Lo más importante a tener en cuenta es que cada proyecto puede ser on-demand o tener una Edition diferente aplicada. Esto le permite a cada usuario optimizar uso y costos por proyecto, o por reservation.
Si eres cliente de DoiT, no dudes en abrir un ticket con un miembro del Customer Reliability Team para una llamada o un análisis de tu uso.
Autoscaling en BigQuery Editions
Uno de los grandes atractivos de Editions es el autoscaling de slots, que permite escalar desde tu valor de baseline hasta el valor máximo de slots cuando se necesiten.
Esto es enormemente potente si actualmente usas facturación flat-rate y necesitas más slots de los que tienes reservados. Los Flex Slots ofrecían una vía para conseguir más slots, pero no eran automáticos y requerían herramientas adicionales, normalmente una Cloud Function que se ejecutaba a intervalos, revisaba la métrica de slots usados y agregaba o quitaba Flex Slots a una reservation según hiciera falta. Lamentablemente, si necesitabas más slots de inmediato, no había mucho que hacer, salvo construir y pagar por infraestructura adicional para lograrlo.
Aquí entra Editions: ahora todo se hace de forma automática y GCP se encarga de escalar hacia arriba y hacia abajo según se necesite, por job.
Dicho esto, hay una ventana de 10 segundos para escalar, durante la cual se determina cómo escalará. Un número más realista en nuestras pruebas es alrededor de 7 segundos. Esto evita que las queries de corta duración escalen al máximo cuando los slots no se van a usar por menos del mínimo facturado. Es decir, si tienes una query que corre durante 10 segundos, probablemente no escalará a tus max slots, y quizás ni siquiera al baseline, según la complejidad.
Una vez que los slots escalaron y el job terminó, puede tomar un minuto o más que los slots vuelvan a bajar y queden disponibles para el siguiente job.
Ten en cuenta que tanto los baseline como los max slots representan un pool compartido de slots entre todos los jobs que se ejecutan en los proyectos dentro de una reservation, igual que en una reservation flat-rate. Cuando un job deja de usar los slots, estos se reducen para que no se te facturen, lo cual es la diferencia con los Flex Slots, que se facturan hasta que se eliminan manualmente.
Una nota final sobre el autoscaling: no se garantiza la disponibilidad de los slots, salvo que estén dentro de un commitment (que cubrimos más adelante), y están sujetos a la disponibilidad de la región o multi-región en la que se encuentran.
Estructura de las reservations
Las reservations bajo BigQuery Editions no son tan distintas de las reservations previas para facturación flat-rate, pero traen algunos conceptos nuevos asociados que conviene cubrir para entenderlas a fondo.
Siguen creándose dentro de un management project y, dentro de cada reservation, hay cero o más proyectos a los que se les asignan slots para uso. Recuerda que, en la comparación de Editions de arriba, ahora hay límites en la cantidad de proyectos que una reservation puede contener, según el tipo de Edition.
Como Editions introduce el concepto de autoscaling, ahora hay un valor mínimo de escalado, llamado baseline slots, y un valor máximo, llamado tamaño máximo de la reservation. Recuerda que los baseline slots no existen en Standard Edition, presumiblemente porque tiene un tope de slots, y este valor siempre es cero.
El valor máximo se define como el valor de baseline slots más la cantidad de slots autoescalados dentro del valor para toda la reservation.
Por defecto, si un job, o un conjunto de jobs, sobrepasa la cantidad máxima de autoscaling de su reservation, puede tomar slots prestados de otras reservations del mismo management project que usen la misma Edition, igual que con una reservation estándar. Hay una casilla que permite desactivar esta función en la pantalla de "Create Reservation":
Explicación de Ignore Idle Slots
En Editions hay un tope a la cantidad máxima de proyectos de administración/management que se pueden crear: 5 por organización. Al intentar crear el sexto, aparece el siguiente mensaje de error:
Mensaje de error al intentar crear más de 5 management projects en una organización.
Commitments para Editions
Siguiendo la tradición, BigQuery Editions mantiene el concepto de commitment por un período a cambio de un precio menor. Estos commitments se crean para una cantidad fija de slots dedicados que se pagan 24/7, pero a una tarifa más baja. En cuanto a la facturación, son como tener un valor de Baseline Slots configurado que pagas cada mes hasta que termine el período, solo que a la tarifa más baja.
El beneficio de los slots comprometidos en Editions es obtener un conjunto de slots más barato y dedicado a tu reservation que vas a usar 24/7. Los slots que no se usan todo el tiempo no deberían colocarse en un commitment, ya que estarías pagando por recursos que no se utilizan. Los slots comprometidos sí están garantizados.
A diferencia de flat-rate, donde podías elegir un commitment mensual o anual, los commitments de Editions vienen únicamente en versiones anuales y de 3 años.
Como antes en flat-rate los commitments eran en múltiplos de 100 slots, los nuevos commitments son, igualmente, en múltiplos de 100 slot/horas.
El detalle es que solo aplican a las ediciones Enterprise y Enterprise Plus. Los Precios están en la siguiente sección.
Actualizaciones de Precios
Los Precios son casi completamente distintos a los modelos tradicionales que BigQuery ha tenido desde hace tiempo. El nuevo modelo de Precios se basa en un concepto llamado slot hour (o como nosotros lo llamamos, que es más descriptivo, slot/hora), que es un cargo por slot por una hora de uso, facturado por segundo.
Editions factura tu uso en función de cuánto tiempo usas un slot. Recuerda que se factura por segundo, pero usa la hora como punto de redondeo conveniente para los números. Entonces, si usas un solo slot durante 900 segundos (1/4 de hora en segundos), se te facturará por 0.25 slot/horas; o si lo usas durante 3,600 segundos (1 hora en segundos), se te facturará por 1.0 slot/horas. Con suerte, usarás más de un solo slot por job, así que multiplicar esto por la cantidad de slots usados te dirá cuántos slot/horas se te facturarán.
La pieza que falta para determinar el precio es el costo por slot/hora, que difiere según la Edition elegida. Todos los Precios están en USD para la multi-región US y pueden ser distintos en otras regiones.
Al lanzamiento, los Precios para cada Edition son los siguientes:
- Basic Edition: USD $0.04 por slot/hora
- Enterprise Edition: USD $0.06 por slot/hora
- Enterprise Plus Edition: USD $0.10 por slot/hora
La fórmula general para determinar el costo de un job es:
Precio = <Precio por slot/hora> * <Slots usados> * (<Duración en segundos>/3600)
Esencialmente, multiplicas los slots usados por las horas en que se usaron (segundos usados / 3600 segundos) y, finalmente, por el cargo de la Edition. Parece más difícil de lo que es.
Una nota final: hay un período mínimo de facturación de 60 segundos. Funciona igual que con los flex slots, donde puedes usarlo por menos de 60 segundos, pero se te facturarán 60 segundos.
Los Precios de los commitments son los siguientes, teniendo en cuenta que 100 slots es el tamaño mínimo y asumiendo 730 horas al mes:
Enterprise Edition
- 1 año:
USD $0.048 por slot/hora
USD $4.80 por 100 slot/horas (por hora)
USD $3,504 por 100 slot/horas (al mes)
USD $42,048 por 100 slot/horas (al año)
- 3 años:
USD $0.036 por slot/hora
USD $3.60 por 100 slot/horas (por hora)
USD $2,628 por 100 slot/horas (al mes)
USD $31,536 por 100 slot/horas (al año)
Enterprise Plus Edition
- 1 año:
USD $0.08 por slot/hora
USD $8 por 100 slot/horas (por hora)
USD $5,840 por 100 slot/horas (al mes)
USD $70,080 por 100 slot/horas (al año)
- 3 años:
USD $0.06 por slot/hora
USD $6 por 100 slot/horas (por hora)
USD $4,380 por 100 slot/horas (al mes)
USD $52,560 por 100 slot/horas (al año)
SKUs de Precios
El uso de slots bajo Editions se factura al management project en sí, no a los proyectos que inician los jobs, como ocurriría en el modelo de facturación on-demand. Esto es igual que en flat-rate, lo que minimiza los cambios en los reportes para reflejar las nuevas SKUs migradas desde flat-rate. Estas SKUs están bajo el grupo de la BigQuery Reservations API en los datos de facturación.
Las SKUs se nombran así, con distintos nombres de edición y región según corresponda:
- BigQuery Enterprise Edition for US (multi-region)
- BigQuery Basic Edition for US (multi-region)
Para los commitments, las SKUs se nombran así, también con distintos nombres de edición y región:
- BigQuery Enterprise Edition 1 Year for US (multi-region)
Ten en cuenta que actualmente no hay forma de correlacionar los costos con el proyecto o la reservation que ejecutó el job que generó esos costos. Esto probablemente cambie cerca del 5 de julio de 2023 o después de esa fecha.
El cambio automático a BigQuery Editions
El 5 de julio de 2023, todo proyecto flat-rate sin contrato y sin commit anual se convertirá y comenzará a facturar bajo el esquema de Enterprise Edition. Google nos aseguró que será un proceso indoloro y que no impactará ningún workload.
Pasar de on-demand a Editions (o a flat-rate) implica un poco más de proceso. Te recomiendo leer la documentación de Google sobre el tema aquí antes de hacer el cambio y luego seguir los procedimientos para crear una reservation, pero seleccionando la Edition que elijas en lugar de flat-rate en el menú.
Combinar Flat-Rate y Editions con Autoscaling
Esta es una sección nueva que quería agregar, ya que esto está en marcha desde finales de abril, pero la documentación oficial no se actualizó para mencionarlo de forma explícita y a algunos clientes se les pasa por alto. El equipo de producto de BigQuery nos lo explicó durante una llamada, después de hacer algunos experimentos y solo ver una referencia en la página de "Create Reservation" (mira la nota con "signo de exclamación" en la captura de pantalla a continuación).
Puedes tener una reservation flat-rate y agregarle slots autoescalables de Enterprise Editions encima.
Espera, ¿¡qué!? Sí, esto es posible porque en abril Google migró todas las reservations y commitments flat-rate al backend de Enterprise Edition, así que esencialmente son reservations y commitments de Enterprise Edition, solo que con Precios flat-rate. Esto significa que puedes pagar flat-rate pero contar con algo de autoscaling para compensar la pérdida de los flex slots hasta el 5 de julio o hasta que termine tu commitment anual flat-rate.
Esto funciona dentro de una reservation tratando los slots de tu commitment flat-rate como un nivel de baseline slots en Editions, los cuales se facturan al precio flat-rate, y escalando hasta el tamaño máximo de la reservation, facturado al precio EE. Como en el backend todo corre en Editions, esto funciona igual que con una reservation Enterprise Edition normal.
Veamos los detalles de cómo hacer esto con un ejemplo.
Actualmente, hay un proyecto en ejecución que usa 1,000 slots dentro de una reservation flat-rate y tiene un job de ETL mensual que se ha visto escalar hasta 1,500 slots durante la duración del job.
Lo que tendrías que hacer es editar la reservation, o eliminar la antigua y crear una nueva, configurando el baseline en 1,000 slots y el tamaño máximo de la reservation en 1,500 slots, como se muestra abajo. Si no ves estos valores, selecciona el tamaño "Custom" en el desplegable.
Al guardar, se creará una reservation con 1,000 slots como baseline, facturados al precio flat-rate, y 500 slots adicionales que pueden autoescalarse, facturados a la tarifa de Enterprise Edition cuando se utilicen.
Esto será un buen punto medio para los clientes que quieran un "chaleco salvavidas" con sus commitments anuales flat-rate más allá del 5 de julio y, a la vez, poder seguir escalando cuando lo necesiten. Si bien los slots de escalado son más caros que los Flex Slots, ya no hace falta crear y eliminar manualmente las reservations para ellos.
Ten en cuenta que este comportamiento funciona con todos los commitments mensuales flat-rate hasta el 5 de julio, cuando se elimine la posibilidad de crear nuevos commitments mensuales.
Para concluir
En DoiT International somos conscientes de que este es un cambio de paradigma enorme en los Precios de BigQuery, así que queremos compartir el conocimiento de arriba junto con algunas advertencias finales.
Asegúrate de estar 100 % preparado para este cambio el 5 de julio de 2023. Especialmente si estás en facturación flat-rate, ya que pasar de flat-rate a Enterprise Edition puede costarte significativamente más dinero. Si usas on-demand, ten en cuenta que es un aumento parejo del 25 %, así que reducir los costos de scan con anticipación ayudará a compensarlo.
Te recomendamos identificar todos los proyectos con facturación de BigQuery dentro de tu organización y averiguar si están en flat-rate u on-demand. Esto ayuda a evitar saltos de costo inesperados que no tenías previstos. Lo mejor es hacerlo con el Billing Explorer o con la DoiT Console si eres cliente de DoiT.
Otro paso clave: te recomiendo ENORMEMENTE hacer los cálculos de costo según tu uso de slots y luego revisar tus costos de almacenamiento para ver si la compresión te ayuda allí. Con un cambio de Precios como este, sin algo de planificación, puede haber saltos enormes en lo que pagas, así que necesitas estar preparado. Aunque no queda mucho tiempo entre la escritura de este artículo y el 5 de julio, en ese lapso prepararse aunque sea un poco rendirá enormes dividendos, sobre todo teniendo en mente un diseño a largo plazo.
Una vez hecho el análisis de slots, el último paso antes de poner workloads corriendo en Editions debería ser montar un "side-project" y ejecutar una muestra de tus workloads ahí para ver cómo se comportan y los costos asociados. Esto te ayudará a entender cómo trabaja el autoscaler y a prepararte ante cualquier costo sorpresa que pueda diferir de tu cálculo.
Como nota muy final, tengo que hacer la mención obligatoria sobre mi empresa, DoiT International. Acompañar a clientes en el análisis y la planificación a largo plazo después de cambios como este es prácticamente una de las cosas principales que hacemos aquí. Así que, si aún no eres cliente, échanos un vistazo: somos geniales (sí, ya sé que estoy sesgado, pero de verdad lo creo) y podemos ayudarte a ti y a tu empresa con este tipo de cosas.