TL;DR Google sta rivoluzionando il modello di pricing e di compute di BigQuery, sia sul fronte compute sia su quello storage. I nuovi ordini Flat-rate e Flex Slots verranno interrotti. Le migrazioni dal flat-rate al nuovo modello di fatturazione avverranno ad aprile e le modifiche di pricing entreranno in vigore il 5 luglio 2023.
BigQuery Editions è stato annunciato da Google il 29 marzo 2023 e segna una svolta importante rispetto ai modelli di pricing che hanno accompagnato gran parte, se non tutta, la storia del prodotto. In questo articolo ci concentreremo sul lato compute di BigQuery e su cosa cambia con questi annunci. Il mio collega Philipp ha scritto un articolo dedicato alle modifiche allo storage di BigQuery che accompagnano Editions, disponibile qui.
Quando si analizza il pricing conviene guardare insieme compute e storage, perché gli aumenti di prezzo sul compute illustrati in questo articolo saranno compensati, e in alcuni casi azzerati, dalle nuove modifiche allo storage.
Avviso doveroso: questo articolo è molto lungo e, da autore, sono consapevole che parti diverse interesseranno persone con ruoli differenti. Consiglio quindi di sfogliarlo per individuare ciò che vi serve e proseguire da lì. Ho riversato in queste pagine tutta la conoscenza collettiva del mio team in DoiT International, pensandolo per tutti i clienti GCP (sia per i nostri attuali clienti, sia per chi presto dovrebbe diventarlo!), dopo aver posto al team di BigQuery ogni domanda che ci è venuta in mente sull'argomento.
Google ha inoltre pubblicato la propria guida su come scegliere Editions e dimensionare correttamente le risorse, disponibile qui.
Vista la lunghezza, qui sotto trovate un indice per muovervi tra le sezioni.
Indice
Editions? Ma che follia è questa?
Si può tornare indietro dal futuro?
Quali altri cambiamenti sono in arrivo?
Fine di un'era per Flat-Rate e Flex Slots
Panoramica di ogni Edition di BigQuery
> Enterprise Plus Edition (EPE)
Autoscaling in BigQuery Editions
Il passaggio automatico a BigQuery Editions
Combinare Flat-Rate ed Editions con l'autoscaling In conclusione
Termini chiave da conoscere
Ecco un breve glossario dei termini usati nell'articolo. Se conoscete già BigQuery, gran parte di questi vi sarà familiare; in caso contrario, ecco un piccolo aiuto prima di proseguire.
Terminologia esistente:
- Job
Un job è un'azione eseguita su BigQuery per svolgere un'operazione: una query, il caricamento di dati, una copia, e così via. Il tipo di job più comune è la query, e i due termini sono spesso usati come sinonimi.
- Slot
L'unità di compute di base usata in BigQuery per eseguire il lavoro di un job. Pensatelo come una "mini macchina virtuale" che si unisce a tante altre per portare a termine il lavoro di un job.
- Reservation
Una struttura che riserva un insieme di slot da utilizzare per zero o più progetti che vi vengono associati.
- Commitment
Un numero fisso di slot riservati per una durata stabilita, di norma un mese o un anno, in cambio di un prezzo più conveniente.
- Admin Project Un progetto designato come "manager" delle reservation e dei commitments di BigQuery. In genere un'organizzazione ne ha uno (o pochi) per avere una gestione "a colpo d'occhio" delle risorse BigQuery. Per i progetti flat-rate ed Editions, le SKU di fatturazione delle reservation di tutta l'organizzazione vengono associate a questo progetto.
- Flex Slots
Slot che possono essere aggiunti a una reservation per un picco di breve durata nel numero di slot. Vengono fatturati al secondo, con un periodo minimo di fatturazione di 60 secondi.
- Idle Slot Uno slot non attualmente utilizzato in un job.
- Workloads
Un workload è un insieme di job eseguiti all'interno di un singolo progetto.
La nuova terminologia specifica di Editions:
- Slot-Hour
La metrica di fatturazione di base per i progetti BigQuery Editions. È definita come un singolo slot utilizzato in un job per un'ora. Nota: in questo articolo la chiamo slot/ora, perché è un nome più descrittivo di ciò che effettivamente rappresenta.
La formula per calcolare gli slot/ora utilizzati è:
Slot/Ora utilizzati = <slot utilizzati> * (<durata in secondi>/3600 secondi)
- Autoscaling Slots Una nuova funzionalità rilasciata in public preview agli inizi del 2023 che scala il numero di slot da un valore baseline a un valore massimo, in base alle esigenze del workload in esecuzione.
- Baseline Slots La quantità minima di slot tenuti "caldi" e attivi in una reservation BigQuery Editions. Vengono utilizzati per primi, prima che intervenga l'autoscaling, e fatturati per tutto il tempo in cui la reservation è attiva.
- Max Slots
La quantità massima di slot a cui può arrivare l'autoscaling in una reservation BigQuery Editions. Il numero di slot allocati non supererà mai questa soglia, considerando tutti i workloads di tutti i progetti all'interno della reservation principale.
Timeline
Google ha pubblicato una timeline che indica quando questi cambiamenti entreranno in vigore. Conoscerla è fondamentale per farsi trovare pronti.
29 marzo 2023
Google annuncia BigQuery Editions e le modifiche al pricing. Il pricing entrerà in vigore solo a partire dal 5 luglio.
30 marzo 2023
BigQuery Slot Autoscaling diventa Generally Available.
Aprile 2023 Inizia il rollout di BigQuery Editions ai clienti, senza modifiche di prezzo. In questa fase, tutti i commitments e le reservation flat-rate vengono convertiti in versioni Enterprise Edition con una convenzione di denominazione che riporta l'etichetta flat-rate, per distinguerli.
5 luglio 2023
End-of-sale per flat-rate e flex slots di BigQuery per tutti i clienti non vincolati da un contratto attivo.
Il pricing di Editions entra in vigore per tutti i progetti non on-demand.
Il nuovo pricing on-demand di 6,25 USD/TB (aumento del 25%) di dati scansionati parte per i progetti on-demand.
Editions? Ma che follia è questa?
Google ha annunciato Slots Autoscaling all'inizio dell'anno: un sottile preludio a BigQuery Editions. BigQuery Editions può essere descritto come una revisione completa del modello di pricing del compute di BigQuery, che passa da un approccio always-on a uno pay-per-usage. In questo articolo lo chiameremo BigQuery Editions o, più semplicemente, Editions.
Come lasciava intendere Slots Autoscaling, è proprio questa la base di Editions: d'ora in avanti il modello di fatturazione standard si fonderà sul concetto di slot/ora, ovvero, come abbiamo visto sopra, l'utilizzo di un singolo slot per un'ora.
Visto che si chiama Editions e non Edition, Google ha introdotto tre diversi livelli di servizio, funzionalità e pricing tra cui scegliere, chiamati guarda caso Edition.
La domanda più frequente che ci è stata posta al rilascio di Slots Autoscaling era: sostituirà gli attuali modelli di pricing? All'epoca era un'incognita, ma con questo annuncio Google ha confermato che Editions sostituirà il modello di pricing flat-rate, Flex Slots inclusi. Tutto questo sarà effettivo dal 5 luglio.
Si può tornare indietro dal futuro?
Senza una DeLorean per viaggiare nel tempo, purtroppo no: se oggi siete su pricing flat-rate, Google effettuerà la transizione a Editions senza alcuna possibilità di tornare al modello precedente.
In pratica, il 5 luglio 2023 i commit mensili verranno convertiti automaticamente al modello di pricing Editions, nello specifico Enterprise Edition (di cui parleremo più avanti). I commit annuali proseguiranno come previsto, trattandosi di contratti i cui prezzi non cambiano per un anno.
Purtroppo, se siete su un commit annuale, sarete vincolati a quel numero di slot e non potrete acquistare flex slots o slot aggiuntivi per il vostro commitment dopo il 5 luglio 2023. Se vi servono slot in più, dovrete passare a Editions, a meno che Google non annunci una via di mezzo nel breve periodo.
Nel mese di aprile sarà in corso una "migrazione tecnica" che convertirà tutte le risorse flat-rate in risorse Editions. A quel punto verrà rimossa la possibilità di creare nuove reservation flat-rate e la struttura di reservation esistente in quel momento sarà "congelata": sarà possibile solo modificare le reservation flat-rate esistenti, non crearne di nuove.
Quali altri cambiamenti sono in arrivo?
Prima di entrare nel dettaglio di ciascuna Edition, voglio rispondere ad alcune domande che bruciano sulla punta della lingua, perché quando leggerete queste righe la notizia sarà già rimbalzata ovunque tra testate e Twitter. Vediamo quindi insieme domande e risposte, così che, quando il vostro CEO vi chiamerà alle 7 di mattina per chiedervi cosa significhi tutto questo, sappiate cosa rispondere.
Come accennato, l'amatissimo modello di pricing flat-rate, prediletto dagli utenti con carichi read-heavy, è destinato a sparire per fare spazio a Editions. Ad aprile Google sposterà ogni progetto attualmente in una reservation flat-rate verso un'Edition chiamata Enterprise Edition, o EE in breve, di cui parleremo a breve. In questa fase NON ci saranno modifiche di prezzo per quei progetti.
Non sono previsti cali di prestazioni sui workloads esistenti e non dovreste notare alcuna differenza dal punto di vista operativo. Google ci ha rassicurati: la transizione sarà senza intoppi.
Il sistema funzionerà in modo da consentire qualsiasi modifica ai progetti fino al 5 luglio, data in cui partirà ufficialmente il pricing di Editions.
E se ho già un commit attivo?
Se utilizzate il pricing flat-rate, avrete un commit, mensile o annuale. Quello mensile è il default, quindi se non siete sicuri probabilmente è il vostro caso; in alternativa potete controllare la fattura e cercare le SKU denominate "BigQuery Flat Rate Monthly for
Per i clienti con commit mensile, che è il default, il 5 luglio questi commit verranno convertiti automaticamente in Enterprise Edition (maggiori dettagli più avanti).
Se siete su un commit annuale, i termini non cambieranno fino al suo anniversario, momento in cui tutte le reservation collegate passeranno a Enterprise Edition. Questo perché un commit è considerato un contratto legalmente vincolante per tutta la sua durata.
Fine di un'era per Flat-Rate e Flex Slots
Il 5 luglio 2023 il pricing flat-rate e l'acquisto di flex slots saranno disabilitati per tutti gli utenti, salvo nei casi in cui esista un contratto con il proprio team commerciale Google che ne autorizzi esplicitamente l'uso oltre quella data. Significa anche che, pur essendo in un commit annuale flat-rate, dopo il 5 luglio non potrete più acquistare flex slots.
Concedetemi un momento per permettere a tutti noi fedeli utilizzatori di flat-rate e flex slots di unirci in un minuto di silenzio per la loro dipartita.
Una volta concluso il minuto di silenzio, proseguiamo.
Tutto questo significa che, se volete mantenere i vostri slot flat-rate, vuoi per guadagnare tempo e ridisegnare l'architettura del vostro ambiente in modo da sfruttare questi cambiamenti, vuoi per altre ragioni, conviene acquistare un commit annuale prima di quella data. Meglio farlo con largo anticipo rispetto al 5 luglio, nel caso ci siano modifiche all'annuncio dovute a una "corsa all'oro" sui commitments.
E l'utilizzo on-demand?
Un lettore attento o un utente abituale di BQ avrà notato che finora ho parlato esclusivamente delle modifiche alla fatturazione flat-rate, non al pricing on-demand.
Oggi il modello di pricing predefinito di BigQuery è quello on-demand, che addebita 5 USD per terabyte di dati scansionati da query o job nelle regioni US (chiamato anche analysis nella fatturazione e da molti utenti). Dal 5 luglio l'importo salirà a 6,25 USD per terabyte di dati scansionati negli US, e in alcune altre regioni il prezzo sarà leggermente più alto. Si tratta di un aumento del 25% e, poiché il pricing varia per regione, anche quei prezzi aumenteranno del 25%.
Le funzionalità e i limiti esistenti non cambieranno per i clienti che sceglieranno di restare su on-demand. Ne parlerò più avanti, ma il pricing on-demand avrà lo stesso set di funzionalità della Enterprise Plus Edition, mantenendo però i limiti tradizionali, come i 2.000 query slot. È stato chiesto più volte: BigQuery ML (BQML) sarà ancora disponibile con la fatturazione on-demand dopo il 5 luglio 2023.
Una domanda emersa più volte sull'on-demand e sul Compressed Storage: quando si utilizza Compressed Storage in modalità on-demand, viene fatturato lo storage logico (non compresso) o fisico (compresso) scansionato? La fatturazione avviene sullo storage non compresso, perché BigQuery deve decomprimerlo prima di analizzarlo. Questo valore è riflesso nei valori bytes_billed in INFORMATION_SCHEMA e nei sink degli audit log.
Modifica: in precedenza avevo scritto che on-demand non funzionasse con Compressed Storage, ma era un'informazione errata e dopo qualche ricerca ho scoperto che si trattava di un'affermazione sbagliata. Se siete "Edition-eligible", ovvero senza progetti flat-rate nella vostra organizzazione, avete una reservation Editions, oppure utilizzate un modello di fatturazione on-demand, Compressed Storage è disponibile. Notate la distinzione a livello di organizzazione: se al 5 luglio 2023 avete anche una sola reservation flat-rate residua nella vostra organizzazione derivante da un commit annuale, non potrete utilizzare il compressed storage fino alla scadenza dei termini di quel commit.
Panoramica di ogni Edition di BigQuery
Uno dei punti più sottolineati da Google su queste Editions è che riguardano solo il lato compute di BigQuery, non lo storage. Lo storage non è interessato da queste modifiche. Tenetelo a mente proseguendo nella lettura.
Prima di entrare nei dettagli, ricordate che una singola Edition può essere applicata a una singola reservation, che a sua volta può contenere zero o più progetti. Significa che potete combinare Editions diverse a piacere tra reservation e progetti, per ottimizzare utilizzo o costi.
Standard Edition (SE)
- Autoscaling degli slot
- Limite massimo di 1.600 slot per reservation come hard limit
- Massimo 100 query concorrenti
- Massimo 5 reservation per admin project
- Esegue i workloads di compute in una sola zona
- Conforme a HIPAA
- Chiavi gestite da Google
- Consente al massimo 5 reservation per progetto di tipo SE
- Non supporta workloads BigQuery ML
- SLA solo del 99,9%, quindi potrebbe non essere consigliata per workloads di produzione
Enterprise Edition (EE)
- Tutte le funzionalità della Standard Edition
- Nessun limite di slot o query concorrenti
- Capacità minima/baseline garantita e capacità riservata
- Accelerazione delle query
- Cache dei risultati condivisa tra utenti
- Supporta l'esecuzione di workloads BigQuery ML
- Supporto per le object table
- VPC Security Controls per prevenire l'esfiltrazione dei dati
- Supporto per data masking, sicurezza a livello di colonna e di riga
- Ridondanza zonale del compute e disaster recovery (se una zona è inattiva, i job possono essere eseguiti in un'altra zona della stessa regione)
- Possibilità di eseguire job tra cloud provider diversi (BigQuery Omni)
- Massimo 200 reservation per admin project
- SLA del 99,99%
Enterprise Plus Edition (EPE)
- Tutte le funzionalità della Enterprise Edition
- Chiavi di crittografia gestite dal cliente
- Supporto per FedRAMP, ITAR e altri requisiti di compliance disponibili tramite Assured Workloads
- Ridondanza regionale del compute e disaster recovery (se una regione è inattiva, i job possono essere eseguiti in un'altra regione della stessa multi-regione)
Quale Edition serve?
Come capita fin troppo spesso nel mondo del cloud, la risposta è: dipende. Una risposta che non soddisfa nessuno, quindi vediamo insieme alcune domande di base per orientarvi verso la giusta Edition.
Prima domanda: il compute del vostro workload deve girare in più di una singola zona? Se la risposta è sì, potete subito escludere la Standard Edition per quel workload, perché è limitata a una sola zona. Ricordate, anche qui parliamo del compute, non dello storage.
Seconda domanda: il vostro workload avrà bisogno di più di 1.600 slot? Se sì, anche in questo caso si esclude la Standard Edition. Google ha chiarito che i 1.600 slot sono un hard limit e non consentiranno burst di flessibilità come fanno gli attuali 2.000 query slot dell'on-demand.
Terza domanda: pensate di utilizzare BigQuery ML in qualcuno dei vostri workloads? In tal caso, la Enterprise Edition è l'unica versione che lo supporta.
Un altro aspetto da valutare: se vi imbattete spesso nel limite delle 100 query concorrenti, vi consiglio di prendere in considerazione la Enterprise Edition, dove tale limite è stato rimosso.
Uno scenario sempre più comune: se avete bisogno di gestire la vostra chiave di crittografia, sarà necessaria la Enterprise Plus Edition.
L'aspetto più importante da tenere a mente è che ogni progetto può essere on-demand o avere una diversa Edition applicata. Questo permette a ciascun utente di ottimizzare utilizzo e costi su base per progetto, o per reservation.
I clienti DoiT possono aprire un ticket e contattare un membro del Customer Reliability Team per una call o un'analisi del proprio utilizzo.
Autoscaling in BigQuery Editions
Uno dei principali punti di forza di Editions è l'autoscaling degli slot, che consente di scalare dal valore baseline al valore massimo quando servono più slot.
Si tratta di una funzionalità estremamente potente se oggi utilizzate la fatturazione flat-rate e avete bisogno di più slot di quelli riservati. I Flex Slots offrivano un modo per ottenere slot aggiuntivi, ma non erano automatici e richiedevano strumenti aggiuntivi, di solito sotto forma di una Cloud Function eseguita a intervalli regolari, che controllava la metrica degli slot utilizzati e aggiungeva o rimuoveva Flex Slots da una reservation in base alle necessità. Sfortunatamente, se servivano subito più slot, non c'era nulla da fare se non costruire e pagare infrastruttura aggiuntiva.
Entra in scena Editions, dove ora tutto questo avviene automaticamente ed è gestito direttamente da GCP, che scala verso l'alto e verso il basso in base alle necessità su base per-job.
Detto ciò, esiste una finestra di 10 secondi durante la quale viene determinato come effettuare lo scaling. Un valore più realistico, in base ai nostri test, si aggira intorno ai 7 secondi. Questo evita che query molto brevi facciano scalare il sistema fino al massimo per slot che verrebbero usati per meno del periodo minimo di fatturazione. Significa che, se avete una query che dura 10 secondi, probabilmente non scalerà fino al massimo, e magari nemmeno al baseline, a seconda della complessità.
Una volta che gli slot hanno scalato verso l'alto e il job è stato completato, può servire un minuto o più perché tornino a scalare verso il basso ed essere disponibili per il job successivo.
Notate che sia il baseline sia gli slot massimi rappresentano un pool condiviso di slot tra tutti i job in esecuzione nei progetti all'interno di una reservation, esattamente come in una reservation flat-rate. Quando gli slot non vengono più utilizzati da un job, vengono ridotti, quindi non vengono fatturati: ed è proprio questo che li distingue dai Flex Slots, fatturati finché non vengono rimossi manualmente.
Un'ultima nota sull'autoscaling: gli slot non sono garantiti come disponibili a meno che non siano all'interno di un commitment, di cui parleremo più avanti, e sono soggetti alla disponibilità della regione o multi-regione in cui si trovano.
Struttura delle reservation
Le reservation in BigQuery Editions non sono molto diverse dalle precedenti reservation per la fatturazione flat-rate, ma introducono alcuni concetti nuovi che vanno trattati per comprenderle pienamente.
Continuano a essere create all'interno di un management project e all'interno di ciascuna reservation ci sono zero o più progetti a cui vengono allocati gli slot. Come visto nel confronto tra Editions, ora esistono limiti sul numero di progetti che una reservation può contenere, in base al tipo di Edition.
Poiché Editions introduce il concetto di autoscaling, esiste ora un valore di scaling minimo, chiamato baseline slots, e un valore di scaling massimo, chiamato dimensione massima della reservation. Notate che i baseline slots non esistono nella Standard Edition, presumibilmente per via del cap sugli slot, e questo valore è sempre zero.
Il valore massimo è definito come il valore dei baseline slots più il numero di slot autoscalati, sull'intera reservation.
Per impostazione predefinita, se un job o un insieme di job supera la quantità massima di autoscaling per la propria reservation, può prendere in prestito slot da altre reservation dello stesso management project che usano la stessa Edition, esattamente come in una reservation standard. Esiste una checkbox per disattivare questa funzione nella schermata "Create Reservation":
Spiegazione di Ignore Idle Slots
In Editions esiste un cap sul numero massimo di admin/management project creabili: 5 per organizzazione. Tentando di crearne un sesto comparirà il seguente messaggio di errore:
Messaggio di errore quando si tenta di creare più di 5 management project in un'organizzazione.
Commitments per Editions
In linea con la tradizione, BigQuery Editions porta avanti il concetto di commitment per un certo periodo in cambio di un prezzo più basso. Questi commitments vengono creati per una quantità fissa di slot dedicati, pagati 24/7, ma a una tariffa inferiore. In termini di fatturazione, è come avere un valore di Baseline Slots impostato che pagate ogni mese fino al termine del periodo, semplicemente a una tariffa più bassa.
Tenete presente che il vantaggio degli slot in commitment su Editions è ottenere un set di slot più conveniente dedicato alla vostra reservation che utilizzerete 24/7. Slot non utilizzati in modo costante non andrebbero inclusi in un commitment, perché pagherete per risorse non sfruttate. Gli slot in commitment sono garantiti come disponibili.
A differenza del flat-rate, dove era possibile scegliere un commitment mensile o annuale, i commitments di Editions sono disponibili solo nelle versioni annuale e triennale.
Come i precedenti commitments flat-rate erano in multipli di 100 slot, anche i nuovi commitments lo sono, ma in multipli di 100 slot/ora.
L'inghippo è che si applicano solo alle edition Enterprise ed Enterprise Plus. Il pricing è nella sezione successiva.
Novità di pricing
Il pricing è quasi del tutto diverso dai modelli tradizionali che BigQuery ha avuto fino ad oggi. Il nuovo modello si basa su un concetto chiamato slot hour (o, come preferiamo chiamarlo per renderlo più descrittivo, slot/ora): un addebito per slot per un'ora di utilizzo, fatturato al secondo.
Editions fattura l'utilizzo in base al tempo di impiego di uno slot. La fatturazione avviene al secondo, ma usa l'ora come comodo punto di arrotondamento. Quindi, se utilizzate un singolo slot per 900 secondi (un quarto d'ora in secondi), verrete fatturati per 0,25 slot/ora; se lo utilizzate per 3.600 secondi (un'ora in secondi), verrete fatturati per 1,0 slot/ora. Verosimilmente userete più di un singolo slot per un job, quindi moltiplicando per il numero di slot utilizzati otterrete il totale degli slot/ora fatturati.
Il tassello mancante per determinare il prezzo è il costo per slot/ora, che varia in base all'Edition scelta. Tutti i prezzi sono in USD per la multi-regione US e potrebbero differire in altre regioni.
Al lancio, il pricing è il seguente per ciascuna Edition:
- Basic Edition: 0,04 USD per slot/ora
- Enterprise Edition: 0,06 USD per slot/ora
- Enterprise Plus Edition: 0,10 USD per slot/ora
La formula complessiva per determinare il costo di un job è quindi:
Prezzo = <Tariffa per slot/ora> * <Slot utilizzati> * (<Durata in secondi>/3600)
In sostanza, moltiplicate gli slot utilizzati per le ore di utilizzo (secondi utilizzati / 3600 secondi) e infine per la tariffa dell'Edition. Sembra più complicato di quanto sia.
Un'ultima nota: esiste un periodo minimo di fatturazione di 60 secondi. Funziona come per i flex slots: potete utilizzarli per meno di 60 secondi, ma verrete comunque fatturati per 60 secondi.
Il pricing dei commitments è il seguente, tenendo presente che 100 slot è la dimensione minima e considerando 730 ore al mese:
Enterprise Edition
- 1 anno:
0,048 USD per slot/ora
4,80 USD per 100 slot/ora (orario)
3.504 USD per 100 slot/ora (mensile)
42.048 USD per 100 slot/ora (annuo)
- 3 anni:
0,036 USD per slot/ora
3,60 USD per 100 slot/ora (orario)
2.628 USD per 100 slot/ora (mensile)
31.536 USD per 100 slot/ora (annuo)
Enterprise Plus Edition
- 1 anno:
0,08 USD per slot/ora
8 USD per 100 slot/ora (orario)
5.840 USD per 100 slot/ora (mensile)
70.080 USD per 100 slot/ora (annuo)
- 3 anni:
0,06 USD per slot/ora
6 USD per 100 slot/ora (orario)
4.380 USD per 100 slot/ora (mensile)
52.560 USD per 100 slot/ora (annuo)
SKU di pricing
L'utilizzo degli slot in Editions è fatturato al management project stesso, non ai progetti che avviano i job, come avverrebbe nel modello on-demand. È lo stesso comportamento del flat-rate, e questo riduce al minimo le modifiche al reporting per riflettere le nuove SKU che subentrano al flat-rate. Queste SKU si trovano sotto il raggruppamento BigQuery Reservations API nei dati di fatturazione.
Le SKU sono denominate così, con nomi di edition e regione che variano:
- BigQuery Enterprise Edition for US (multi-region)
- BigQuery Basic Edition for US (multi-region)
Per i commitments, le SKU sono denominate così, sempre con nomi di edition e regione che variano:
- BigQuery Enterprise Edition 1 Year for US (multi-region)
Notate che attualmente non c'è modo di correlare i costi al progetto o alla reservation che ha eseguito il job che li ha generati. Probabilmente cambierà in prossimità o dopo il 5 luglio 2023.
Il passaggio automatico a BigQuery Editions
Il 5 luglio 2023 ogni progetto flat-rate non vincolato da contratto e non in commit annuale verrà convertito e inizierà a essere fatturato secondo lo schema di Enterprise Edition. Google ci ha assicurato che sarà un processo indolore, senza impatti su alcun workload.
Passare da on-demand a Editions (o flat-rate) è un processo un po' più articolato. Consiglio vivamente di leggere la documentazione di Google sull'argomento qui prima del passaggio, e poi seguire le procedure per creare una reservation, selezionando però l'Edition scelta invece di flat-rate nel menu.
Combinare Flat-Rate ed Editions con l'autoscaling
Questa è una sezione nuova che ho voluto aggiungere, perché questa funzionalità è attiva da fine aprile, ma la documentazione ufficiale non è stata aggiornata per evidenziarla esplicitamente, e alcuni clienti . Ce l'hanno spiegata durante una call con il team di prodotto BigQuery dopo alcuni esperimenti, e abbiamo trovato un solo riferimento nella pagina "Create Reservation" (vedete la nota con punto esclamativo nello screenshot qui sotto).
È possibile avere una reservation flat-rate e aggiungere sopra slot autoscaling Enterprise Editions.
Aspetta, cosa!?!?! Sì, è possibile, perché ad aprile Google ha migrato tutte le reservation e i commitments flat-rate per essere eseguiti sul backend di Enterprise Edition: sono quindi sostanzialmente reservation e commitments Enterprise Edition, ma con pricing flat-rate. Significa che potete pagare in modalità flat-rate e avere comunque un po' di autoscaling per compensare la perdita dei flex slots, fino al 5 luglio o fino alla scadenza del vostro commitment annuale flat-rate.
Funziona all'interno di una reservation trattando gli slot del commitment flat-rate come livello di baseline slots in Editions, fatturati al prezzo flat-rate, e scalando fino alla dimensione massima della reservation, fatturata al prezzo EE. Poiché sul backend gira tutto su Editions, funziona esattamente come in una normale reservation Enterprise Edition.
Vediamo nel dettaglio come fare con un esempio.
Supponiamo di avere un progetto in esecuzione che utilizza 1.000 slot all'interno di una reservation flat-rate e ha un job ETL mensile che, durante l'esecuzione, è stato osservato scalare fino a 1.500 slot.
Quello che dovreste fare è modificare la reservation, oppure eliminare la vecchia e crearne una nuova, impostando il baseline a 1.000 slot e la dimensione massima della reservation a 1.500 slot, come mostrato qui sotto. Se non visualizzate questi valori, selezionate la dimensione di reservation "Custom" nel menu a tendina.
Salvando, verrà creata una reservation con 1.000 slot di baseline, fatturati al prezzo flat-rate, più 500 slot aggiuntivi che possono essere autoscalati e, quando utilizzati, fatturati alla tariffa Enterprise Edition.
È un buon compromesso per i clienti che vogliono un "giubbotto di salvataggio" con i commitments flat-rate annuali oltre il 5 luglio, mantenendo la possibilità di scalare quando serve. Anche se gli slot di scaling sono più costosi dei Flex Slots, questa soluzione elimina la necessità di creare ed eliminare manualmente le reservation per gestirli.
Notate che questo comportamento funzionerà con tutti i commitments mensili flat-rate fino al 5 luglio, quando sarà rimossa la possibilità di crearne di nuovi.
In conclusione
In DoiT International siamo consapevoli che si tratta di un cambio di paradigma enorme nel pricing di BigQuery, ed è proprio per questo che vogliamo condividere queste conoscenze, accompagnandole con qualche avvertimento finale.
Assicuratevi di farvi trovare pronti al 100% per il cambiamento del 5 luglio 2023. In particolare, se siete in fatturazione flat-rate, perché passare da flat-rate a Enterprise Edition potrebbe costarvi parecchio in più. Se utilizzate l'on-demand, sappiate che si tratta di un aumento netto del 25%, quindi ridurre i costi di scansione in anticipo aiuterà ad attenuare l'impatto.
Vi consigliamo di individuare ogni progetto con fatturazione BigQuery all'interno della vostra organizzazione e verificare se è su flat-rate o on-demand. Vi aiuterà a evitare improvvisi e imprevisti aumenti di costo. Il modo migliore è farlo tramite il Billing Explorer o, per i clienti DoiT, tramite la DoiT Console.
Uno dei passaggi finali che CONSIGLIO VIVAMENTE è eseguire i calcoli dei costi in base al vostro utilizzo degli slot e poi analizzare i costi di storage, per valutare se la compressione può essere d'aiuto. Con un cambio di prezzo di questa portata, senza un minimo di pianificazione si rischiano enormi balzi nei costi: dovete farvi trovare pronti. Anche se al 5 luglio non manca molto dalla scrittura di questo articolo, anche prepararsi un minimo in quel lasso di tempo darà enormi benefici, soprattutto se si ha in mente un design di lungo termine.
Una volta completata l'analisi degli slot, l'ultimo passaggio prima di portare i workloads in produzione su Editions dovrebbe essere quello di avviare un "side-project" e farvi girare un campione dei vostri workloads, per vedere come si comportano e i costi associati. Vi darà un'idea di come funziona l'autoscaler e vi aiuterà a prepararvi a eventuali costi a sorpresa diversi dal vostro calcolo.
Una nota finalissima, l'immancabile plug sulla mia azienda, DoiT International. Aiutare i clienti a fare analisi e pianificazione di lungo periodo dopo cambiamenti come questo è praticamente una delle cose principali che facciamo qui. Quindi, se non siete ancora clienti, dateci un'occhiata: siamo fantastici (sì, lo so, sono di parte, ma lo penso davvero) e possiamo aiutare voi e la vostra azienda in questo genere di sfide.