Las GPU se han convertido en una parte integral de la infraestructura moderna de la nube. A medida que muchos equipos adoptan cada vez más la IA, el aprendizaje automático y los grandes modelos de lenguaje (LLM) para hacer evolucionar sus aplicaciones, el uso de GPU crece rápidamente, junto con los costes de la nube Kubernetes para mantener dichas cargas de trabajo. Esta tendencia introduce una nueva capa de complejidad en la gestión de recursos de Kubernetes: La optimización de la utilización de la GPU.
"A diferencia de otros recursos de Kubernetes, las solicitudes de GPU se tratan de forma diferente: un pod obtiene acceso a toda una GPU o a ninguna. Sin una asignación fraccionada, las GPU suelen infrautilizarse, lo que se traduce en un desperdicio de GPU. Dado que las GPU pueden suponer hasta el 75% de los costes de infraestructura por hora, cualquier ineficiencia conlleva un importante despilfarro económico. Por tanto, eliminar la sobreasignación puede tener un gran impacto, desbloqueando importantes ahorros de costes". dijo Eli Birger, director técnico de PerfectScale by DoiT. "Sin visibilidad de la utilización real de la GPU, los ingenieros carecen de información para dimensionar correctamente las cargas de trabajo, aplicar estrategias avanzadas de programación de pods y tomar decisiones de infraestructura basadas en datos".
Para ayudar a los equipos a superar estos retos, nos complace presentar GPU Visibility de PerfectScale by DoiT, la función que te ofrece una imagen clara del uso de la GPU en tus clústeres Kubernetes, ayudándote a identificar ineficiencias, dimensionar correctamente las cargas de trabajo y aprovechar al máximo tus recursos de GPU.
Echemos un vistazo más de cerca a cómo GPU Visibility ayuda a descubrir ineficiencias y optimizar la utilización de la GPU con facilidad.
¿Qué aporta la visibilidad de la GPU?
La función GPU de PerfectScale es una potente solución que recopila métricas de utilización de la GPU y ofrece una visibilidad profunda en el contexto de todo el clúster. Esta visión permite un análisis preciso del entorno Kubernetes, desbloqueando una optimización precisa basada en datos.
Navega a Infrafit de PerfectScale para acceder a información detallada sobre la utilización de la GPU en tus grupos de nodos. El gráfico de utilización proporciona un desglose claro del uso y las solicitudes de GPU en toda tu infraestructura. Esta vista es especialmente útil para identificar rápidamente la capacidad de GPU infrautilizada u ociosa, priorizar los esfuerzos de optimización en las áreas más críticas, reducir el desperdicio de GPU y mejorar la rentabilidad general.
Una vez identificada un área problemática, basta con hacer clic en el grupo de nodos correspondiente para profundizar en una vista más detallada de la infraestructura. Este nivel de granularidad proporciona un desglose completo de las instancias individuales dentro del grupo, junto con las métricas clave de cada instancia.
Tras detectar el problema con la visibilidad proporcionada, el siguiente paso es decidir cómo solucionarlo. La plataforma te ayuda a comprender qué está fallando (GPUs que no se utilizan plenamente, algunas cargas de trabajo aprovisionadas con más recursos de los necesarios o determinadas instancias que se ejecutan sin hacer gran cosa) y a elegir la estrategia adecuada para resolver el problema. Por ejemplo, puedes ajustar el tamaño de las instancias para que se adapten mejor a la carga de trabajo, equilibrar la carga y mejorar el bin-packing, o desactivar las instancias que no sean necesarias.
Explorar escenarios de uso
Dimensionar correctamente las instancias de la GPU
En muchos casos, las cargas de trabajo no requieren toda la capacidad de la máquina GPU. Al identificar las instancias infrautilizadas, puedes sustituir las instancias caras por otras más pequeñas y rentables que se adapten mejor a la tarea. Esto ayuda a reducir el gasto innecesario sin dejar de cumplir los requisitos de rendimiento.
Para tomar decisiones basadas en datos con confianza, puedes aprovechar perfectamente la visibilidad de la GPU de PerfectScale y detectar dónde tiene más sentido este ajuste.
Maximizar la utilización con la división de la GPU
Aunque cambiar a instancias de GPU más pequeñas suele ser una buena forma de reducir costes, no siempre es el enfoque mejor o más eficaz.
Algunas cargas de trabajo, por ejemplo, los pipelines ML compartidos, no escalan bien cuando se dividen en máquinas separadas y pueden requerir un control más estricto de los recursos. En tales casos, las instancias más pequeñas por sí solas pueden no proporcionar el rendimiento, la eficiencia o la flexibilidad deseados.
Aquí es donde la GPU Multi-Instancia (MIG) de NVIDIA puede ayudar. MIG te permite dividir una GPU física en varias unidades más pequeñas y aisladas, donde cada una tiene su propio cálculo, memoria y ancho de banda. Estas piezas actúan como GPUs separadas, por lo que puedes ejecutar varios trabajos pequeños o paralelos al mismo tiempo sin conflictos.
PerfectScale facilita la localización de las GPU infrautilizadas que ejecutan cargas de trabajo que no necesitan toda su capacidad. En lugar de cambiar a una máquina más pequeña, puedes conservar la GPU más grande y dividirla en instancias MIG, ajustando cada porción a las necesidades específicas de la carga de trabajo.
Aumentar la eficacia con el Programador KAI
Algunas tareas no necesitan una GPU todo el tiempo, por ejemplo, las cargas de trabajo efímeras, los trabajos de CI/CD o los pasos de entrenamiento de modelos con largas esperas de la CPU. Sólo la utilizan durante un breve periodo de tiempo, y dar a cada uno de estos trabajos una GPU dedicada supone un importante derroche de recursos y dinero. 
Con la visibilidad de la GPU de PerfectScale, puedes identificar fácilmente patrones como cargas de trabajo que no utilizan plenamente la GPU asignada. Una vez identificados, puedes implementar Kai-Scheduler para consolidar múltiples trabajos en una sola GPU, maximizando el uso y reduciendo los costes sin sacrificar el rendimiento.
Ya has visto cómo PerfectScale ayuda a descubrir los residuos de la GPU y a aplicar estrategias de optimización inteligentes. Ahora es el momento de poner en práctica esos conocimientos.
Profundiza en nuestro Portal de Documentacióno programa una sesión técnica con nuestro equipo para obtener asistencia experta.
¿Aún no utilizas PerfectScale? Empieza gratis hoy y simplifica tu viaje de optimización de K8s.
