Reduce los costos de Google BigQuery con recomendaciones

Lanzado recientemente por DoiT International, el BigQuery FinOps Dashboard es tu navaja suiza para detectar ineficiencias en el uso de Google BigQuery

"¿Qué es exactamente lo que estamos pagando? ¿Podemos optimizar nuestros costos de BigQuery?"

Son preguntas habituales entre los gerentes de IT cuando revisan los costos de Google BigQuery en sus facturas mensuales, y con toda razón.

Google BigQuery es un potente data warehouse, clave para las operaciones de muchos equipos. Por eso conviene saber con exactitud cómo se está usando. Sin un manejo cuidadoso de los recursos, como ocurre con todo en la nube pública, el costo puede dispararse.

Hay dos factores principales que contribuyen a este riesgo:

El comportamiento de los analistas
La naturaleza de sus datasets, tablas y configuración de usuarios.

Para combatir el sobregasto en BigQuery, hoy los equipos combinan controles de costos en distintos niveles, fomentan el cumplimiento de las mejores prácticas de BigQuery y monitorean el uso de recursos. En cuanto al monitoreo, las cuatro formas más populares son:

Explorar los BigQuery Audit Logs
Consultar logs exportados en BigQuery
Consultar INFORMATION_SCHEMA.JOBS_BY_* en BigQuery
Usar el BigQuery Dashboard en la Cloud Monitoring Console

Sin embargo, obtener insights del uso de recursos de BigQuery toma muchísimo tiempo, ya que tienes que desarrollar las consultas y montar todo por tu cuenta (incluso un dashboard, en algunos casos). Hay que afinar las herramientas de monitoreo al detalle para que cuenten la historia de tu uso de BQ. Además, suele ser difícil hacer cumplir las mejores prácticas de BigQuery en todo el equipo, sobre todo cuando no tienes claro en qué deberían enfocarse ni qué deberían mejorar.

En exclusiva para los clientes de DoiT International como parte de nuestra Cloud Management Platform, presentamos el BigQuery FinOps Dashboard, la forma más rápida de poner luz sobre las ineficiencias de BigQuery.

Estas son las funciones más importantes de la herramienta:

Cero configuración: la información clave llega hasta ti en un formato accesible
Pasa de una vista panorámica a una granularidad milimétrica en pocos clics
Recomendaciones accionables sobre comportamiento, consultas y almacenamiento, personalizadas según la configuración de tu equipo.

BigQuery Explorer

Con el Explorer puedes analizar tus principales proyectos, datasets, tablas o usuarios por scan o almacenamiento ($/TB):

BigQuery Explorer

… y obtener una vista más granular haciendo clic en el proyecto/dataset/tabla/usuario que te interese:

Vista detallada del BigQuery Explorer

… y llegar a un nivel aún más granular haciendo clic en un job ID específico:

Detalles de la consulta

Recomendaciones accionables

Aviso: ¡puede que digas "WOW" después de leer la siguiente sección!

El BigQuery FinOps Dashboard te entrega recomendaciones accionables para reducir tus costos de BigQuery, basadas en un análisis cuidadoso de tu uso. Para cada recomendación te mostramos una estimación de cuánto podrías ahorrar al implementarla.

Vista principal de recomendaciones de BigQuery

Aplica clustering y particionado a tus tablas

Cualquier usuario de BigQuery sabe que el clustering y el particionado se traducen en grandes mejoras de rendimiento y costo. Sin embargo, no es nada trivial detectar los campos sobre los que conviene aplicarlos para sacarles partido, sobre todo cuando tienes a varios analistas ejecutando montones de consultas.

Con un solo clic accedes a una vista general de tus tablas junto con recomendaciones de campos para clustering y particionado. Si sigues nuestras sugerencias y continúas ejecutando consultas similares a las anteriores, podrás ahorrar aproximadamente hasta el monto que aparece en la columna Savings Potential.

Vista detallada de las recomendaciones "Particiona tus tablas" y "Aplica clustering a tus tablas"

Respalda y elimina las tablas sin uso

¿Para qué pagar por tablas que ya no usas? Revisa cuáles no has consultado últimamente y el costo mensual de mantenerlas. Respaldar y eliminar, o pagar: tú decides.

Vista detallada de "Respalda y elimina tablas sin uso"

Limita los query jobs

Es posible que estés ejecutando las mismas consultas más de una vez y pagando varias veces por lo mismo. Considera limitar los query jobs y juega con el deslizador para ver tu ahorro potencial.

Vista detallada de "Limita los query jobs"

Optimización de consultas con superQuery

Si todavía no conoces superQuery, ¡tienes que probarlo sí o sí! superQuery es un potente IDE serverless para varias bases de datos en la nube como Google BigQuery, AWS Athena, DynamoDB y otras. Cuenta con un motor de optimización de consultas que reduce costos y mejora la eficiencia. El BigQuery FinOps Dashboard te muestra cuánto podrías ahorrar si ejecutaras tus consultas a través de superQuery.

Exige el uso de campos particionados

Usar campos particionados en tus consultas puede reducir su costo varias veces. Te ofrecemos una vista general de las consultas principales que no aprovechan los campos particionados disponibles.

Vista detallada de "Exige el uso de campos particionados"

El BigQuery FinOps Dashboard evoluciona junto con BigQuery, y los clientes pueden esperar recomendaciones alineadas con las últimas tecnologías que lance Google.

Próximos pasos

¿Quieres identificar y optimizar los puntos débiles de tu BigQuery?

Haz clic aquí para agendar hoy mismo una demo con DoiT International y obtener acceso al BigQuery FinOps Dashboard y a otras herramientas de optimización en la nube.

Si ya eres cliente de DoiT International, buenas noticias: ya tienes acceso a tu BigQuery FinOps Dashboard dentro de tu Cloud Management Platform.

Habla con tu Account Manager para empezar o sigue estas instrucciones para configurarlo y empezar a explorar.