Da poco rilasciato da DoiT International, il BigQuery FinOps Dashboard è il coltellino svizzero per scovare le inefficienze nell'utilizzo di Google BigQuery
"Per cosa stiamo pagando, esattamente? E possiamo ottimizzare i costi di BigQuery?"
Sono le domande che gli IT manager si pongono regolarmente quando esaminano i costi di Google BigQuery sulle fatture mensili — e a buon diritto.
Google BigQuery è un potente data warehouse, fondamentale per l'operatività di molti team. Proprio per questo è essenziale sapere con precisione come viene utilizzato. Senza un'attenzione costante all'uso ottimale delle risorse, come per qualsiasi altro servizio del cloud pubblico, il conto può diventare salato.
I fattori principali che alimentano questo rischio sono due:
- il comportamento degli analisti;
- la natura di dataset, tabelle e configurazione degli utenti.
Per arginare l'eccesso di spesa su BigQuery, oggi i team combinano controlli di costo a vari livelli, diffusione delle best practice di BigQuery e monitoraggio dell'uso delle risorse. Sul fronte del monitoraggio, i quattro approcci più diffusi sono:
- analizzare i BigQuery Audit Logs;
- eseguire query sui log esportati in BigQuery;
- interrogare INFORMATION_SCHEMA.JOBS_BY_* in BigQuery;
- usare il BigQuery Dashboard nella Cloud Monitoring Console.
Ottenere insight sull'utilizzo delle risorse di BigQuery, però, richiede molto tempo: bisogna scrivere query e configurare ogni cosa da zero (eventualmente anche un dashboard). Gli strumenti di monitoraggio vanno tarati al millimetro per restituire un quadro chiaro dell'uso di BQ. In più, è quasi sempre difficile far rispettare le best practice di BigQuery all'interno del team, soprattutto quando non si sa con precisione su cosa debba concentrarsi e dove debba migliorare.
BigQuery FinOps Dashboard
In esclusiva per i clienti di DoiT International, all'interno della nostra Cloud Management Platform, presentiamo il BigQuery FinOps Dashboard: il modo più rapido per fare luce sulle inefficienze di BigQuery.
Ecco le caratteristiche più importanti dello strumento:
- Zero configurazione — le informazioni che contano arrivano direttamente in forma immediatamente fruibile;
- si passa dalla visione d'insieme al massimo livello di dettaglio in pochi clic;
- raccomandazioni operative su comportamenti, query e storage, su misura per la configurazione del Suo team.
BigQuery Explorer
Con l'Explorer può analizzare i principali progetti, dataset, tabelle o utenti per scan o storage ($/TB):
BigQuery Explorer
… e ottenere una panoramica più dettagliata cliccando sul progetto/dataset/tabella/utente che Le interessa:
Vista dettagliata di BigQuery Explorer
… per arrivare a un livello di granularità ancora più spinto cliccando su uno specifico job ID:
Dettagli della query
Raccomandazioni operative
Attenzione: dopo aver letto la prossima sezione potrebbe scapparle un "WOW"!
Il BigQuery FinOps Dashboard fornisce raccomandazioni operative per ridurre i costi di BigQuery, basate su un'analisi accurata dell'utilizzo. Per ogni raccomandazione mostriamo una stima di quanto potrebbe risparmiare applicandola.
Vista principale delle raccomandazioni di BigQuery
Applichi clustering e partizionamento alle tabelle
Chi usa BigQuery sa bene che clustering e partizionamento portano grandi vantaggi in termini di performance e costi. Individuare però i campi giusti su cui applicarli, per cogliere appieno questi vantaggi, non è affatto banale, soprattutto quando più analisti lanciano un gran numero di query.
Con un solo clic ottiene una panoramica delle tabelle e le raccomandazioni sui campi da usare per clustering e partizionamento. Seguendo i nostri suggerimenti e continuando a eseguire query simili a quelle precedenti, può risparmiare circa l'importo indicato nella colonna Savings Potential.
Vista dettagliata delle raccomandazioni \"Partition your tables\" e \"Cluster your tables\"
Faccia il backup e rimuova le tabelle inutilizzate
Perché pagare per tabelle che non usa più?! Dia un'occhiata a quelle che non ha interrogato di recente e al relativo costo mensile di mantenimento. Backup e rimozione, oppure continuare a pagare: la scelta è Sua.
Vista dettagliata di \"Backup and Remove Unused Tables\"
Limiti i job delle query
Potrebbe capitarle di eseguire le stesse query più volte, sostenendone il costo ripetutamente. Valuti di limitare i job delle query e usi lo slider per simulare i risparmi potenziali.
Vista dettagliata di \"Limit query jobs\"
Ottimizzazione delle query con superQuery
Se non ha ancora sentito parlare di superQuery, le consigliamo vivamente di dargli un'occhiata. superQuery è un potente IDE serverless per numerosi database cloud-based come Google BigQuery, AWS Athena, DynamoDB e altri. Integra un motore di ottimizzazione delle query che riduce i costi e aumenta l'efficienza: il BigQuery FinOps Dashboard Le mostra quanto potrebbe risparmiare eseguendo le query tramite superQuery.
Imponga l'uso dei campi di partizionamento
Usare campi partizionati nelle query può ridurre i costi anche di diverse volte. Le forniamo una panoramica delle query principali che non sfruttano i campi di partizionamento disponibili.
Vista dettagliata di \"Enforce Partition Fields\"
Lo strumento BigQuery FinOps evolve di pari passo con BigQuery: i clienti possono aspettarsi raccomandazioni sempre allineate alle ultime tecnologie rilasciate da Google.
I prossimi passi
Vuole individuare e ottimizzare i punti deboli del Suo BigQuery?
Clicchi qui per prenotare oggi stesso una demo con DoiT International e accedere al BigQuery FinOps Dashboard e agli altri strumenti di ottimizzazione cloud.
Se è già cliente DoiT International, abbiamo una buona notizia: ha già accesso al Suo BigQuery FinOps Dashboard all'interno della Cloud Management Platform.
Ne parli con il Suo Account Manager per iniziare, oppure segua queste istruzioni per configurarlo e cominciare a esplorare!