Immagine di Molnia
Nella gestione dei bucket Amazon S3, avere metriche di storage accurate è essenziale per tenere sotto controllo i costi e pianificare la capacità. Le dimensioni riportate, però, possono presentare discrepanze, con il rischio di generare confusione ed errori nelle stime di costo. Questo articolo racconta un caso reale che ha coinvolto uno dei nostri clienti, in cui diversi strumenti AWS riportavano dimensioni di storage molto diverse per lo stesso bucket S3, e propone una soluzione per calcolare in modo accurato il consumo reale.
Uno dei nostri clienti ha rilevato una discrepanza importante esaminando le metriche di storage S3 di un determinato bucket:
- S3 Metrics e CloudWatch: oltre 220TB di storage
- AWS CLI e l'opzione S3 Calculate total size: meno di 8TB di storage
Una differenza di 27 volte nelle dimensioni dichiarate, che ha fatto subito scattare un campanello d'allarme sull'accuratezza dei dati e sulle possibili ricadute economiche.
Dall'analisi sono emerse le seguenti impostazioni del bucket:
- Storage Class: tutti gli oggetti in S3 Standard
- Versioning: non abilitato sul bucket
- Lifecycle Rule: configurata per eliminare gli oggetti dopo 45 giorni
A prima vista queste impostazioni non giustificavano un divario così marcato, ed è stato quindi necessario indagare a fondo.
Per confermare la discrepanza, abbiamo iniziato dal bucket S3 e dalle metriche di CloudWatch:
- S3 Console: abbiamo analizzato le metriche di storage del bucket
- CloudWatch: abbiamo esaminato le metriche corrispondenti
Entrambe le fonti indicavano in modo coerente che il bucket conteneva oltre 200TB di dati.
Metriche del bucket S3
Metriche di CloudWatch
Per approfondire ulteriormente, abbiamo misurato lo storage del bucket con altri due metodi:
- La funzione S3 Calculate Total Size nella S3 Console
- Il comando AWS CLI per elencare i contenuti del bucket
Sia con S3 Calculate total size sia con il comando AWS CLI il bucket risultava avere 7,5TB di storage e oltre 6 milioni di oggetti.
Calculate total size applicato al bucket S3.
Output di S3 Calculate Total
Comando AWS CLI per calcolare la dimensione del bucket:
aws s3 ls — summarize — human-readable — recursive s3://
Questo comando CLI elenca tutti gli oggetti del bucket indicato e ne fornisce un riepilogo della dimensione totale.
Output di AWS CLI
Il netto contrasto tra le dimensioni riportate apriva un interrogativo non banale: com'è possibile che lo stesso bucket mostri volumi di dati così radicalmente diversi? La discrepanza meritava un'indagine approfondita, perché poteva incidere in modo significativo sulla gestione dei costi e sulla pianificazione dello storage. Per venirne a capo abbiamo seguito questi passaggi:
- Abilitare S3 Storage Lens: abbiamo consigliato al cliente di attivare Amazon S3 Storage Lens, una potente funzionalità di analisi dello storage cloud. Questo strumento offre visibilità a livello di organizzazione sull'utilizzo dell'object storage e sui trend di attività.
- Attendere la raccolta dei dati: è bene ricordare che possono essere necessarie fino a 24 ore prima che S3 Storage Lens raccolga e pubblichi le metriche.
- Analizzare i risultati: non appena disponibili, abbiamo esaminato con attenzione il dashboard di S3 Storage Lens. Le informazioni offerte da questo strumento si sono rivelate decisive per la nostra indagine.
S3 Storage Lens mostra la dimensione totale degli Incomplete Multipart Upload.
S3 Storage Lens ha rivelato che la causa della discrepanza erano gli S3 Incomplete Multipart Uploads.
Gli S3 Incomplete Multipart Uploads sono parti di oggetti caricate solo parzialmente e mai completate. Il punto chiave è questo: questi upload incompleti occupano spazio di storage e generano costi, pur non comparendo nei normali elenchi del bucket.
La dimensione complessiva degli Incomplete Multipart Uploads superava i 200TB. Lo scarto tra gli strumenti dipende dal fatto che l'operazione "Calculate total size" nella S3 Console e in AWS CLI non considera gli Incomplete Multipart Uploads.
Una volta individuata la causa, siamo stati in grado di spiegare l'enorme differenza tra le dimensioni riportate e di indicare al cliente la strada per ottimizzare l'uso dello storage S3.
Per aiutare il cliente a ripulire il bucket, abbiamo configurato la lifecycle rule S3 "delete-incomplete-mpu-7-days" per rimuovere gli Incomplete Multipart Uploads.
Lifecycle Rule S3 per eliminare gli Incomplete Multipart Uploads
Dopo aver lasciato attiva per alcuni giorni la lifecycle rule "delete-incomplete-mpu-7-days" e atteso l'aggiornamento delle metriche di CloudWatch, abbiamo controllato di nuovo le metriche del bucket. La lifecycle rule aveva fatto il suo lavoro, eliminando tutti gli Incomplete Multipart Uploads. A quel punto abbiamo verificato lo storage con gli stessi strumenti di prima e questa volta i valori coincidevano.
Metriche del bucket S3 dopo l'applicazione della lifecycle rule
Metriche di CloudWatch dopo l'applicazione della lifecycle rule
Risultato di S3 Calculate total size dopo aver applicato la lifecycle rule S3 "delete-incomplete-mpu-7-days".
Calculate total size applicato al bucket S3.
S3 Calculate total size dopo l'applicazione della lifecycle rule S3
Script con AWS CLI per calcolare la dimensione del bucket dopo l'applicazione della lifecycle rule S3
Questo case study è solo un esempio della complessità che le aziende devono affrontare nella gestione dei propri ambienti AWS. Grazie alla nostra competenza sui servizi AWS e alla capacità di analizzare e interpretare le metriche cloud, siamo riusciti a risalire alla causa della discrepanza nelle dimensioni dello storage e a proporre una soluzione efficace. Un intervento che non solo ha risolto il problema immediato, ma ha anche permesso al cliente di comprendere a fondo utilizzo e costi del proprio storage S3.
In DoiT International aiutiamo le aziende a muoversi tra le complessità degli ambienti cloud, a risolvere problemi e a ottimizzare la propria infrastruttura AWS. Che si tratti di discrepanze nelle metriche di storage come questa o di altre sfide legate al cloud, il nostro team di esperti è a Sua disposizione. Non lasci che la complessità del cloud rallenti il Suo business. Contatti DoiT oggi stesso per scoprire come possiamo aiutarLa a massimizzare l'efficienza e la convenienza del Suo ambiente cloud, assicurandoLe il massimo valore dal Suo investimento in AWS.