Solidus Labs reduce en un 90% los problemas de resiliencia de Kubernetes
Conoce Solidus Labs
El objetivo de Solidus Labs es permitir un comercio de criptomonedas más seguro a lo largo de todo el proceso de inversión en todos los mercados centralizados y DeFi. Como fundador de iniciativas líderes en el sector, Solidus está profundamente comprometido con la introducción de los mercados financieros del mañana.
Para apoyar el rápido crecimiento de los mercados de criptomonedas y satisfacer la creciente demanda de sus clientes, Solidus utiliza el servicio Amazon Elastic Kubernetes como base de su infraestructura de aplicaciones. Para garantizar la escalabilidad de su entorno a medida que crece la empresa, Solidus utiliza la experiencia y los servicios de Develeap.
Develeap, una de las mayores consultoras de DevOps de Israel, se encargó de construir la arquitectura inicial y de prestar apoyo y mantenimiento continuos al entorno Solidus. Esto incluía configurar la monitorización, la observabilidad y las alertas, así como optimizar los costes del entorno.
Asociarse con Develeap ha permitido a Solidus ampliar su entorno a una docena de clusters multirregionales, extendiendo sus servicios a clientes de todo el mundo.
El desafío
A pesar de su sólida base DevOps, Solidus Labs se enfrentaba a un reto recurrente: la incapacidad de dimensionar correctamente los recursos del pod. Aunque herramientas como KEDA gestionaban el autoescalado horizontal de los pods, Solidus seguía encontrándose con frecuentes problemas de estrangulamiento de la CPU y de falta de memoria (OOM) que perturbaban el rendimiento.
Su infraestructura tenía que adaptarse a cambios constantes, ya que los lanzamientos se producían cada hora. Algunos clientes enviaban lotes masivos de datos, mientras que otros requerían procesamiento en tiempo real, lo que dificultaba la predicción y el cumplimiento de las demandas de rendimiento.
Solidus Labs, en colaboración con Develeap, dedicó incontables horas a ajustar manualmente los recursos. Aunque esto estabilizó temporalmente el entorno, los cambios duraron poco y aumentó el derroche innecesario de recursos en los clusters más pequeños.
La solución
Mantener la resistencia durante el rápido crecimiento
Solidus Labs ya había implementado varias capacidades para mantener su entorno Kubernetes funcionando sin problemas y con eficacia. Pero no fue hasta que introdujo PerfectScale de DoiT que pudo dimensionar correctamente sus recursos de pods y abordar la causa raíz de los recurrentes problemas de estrangulamiento de la CPU y de falta de memoria (OOM).
PerfectScale de DoiT ayudó a Solidus a navegar por una infraestructura en constante cambio. «I+D lanza cambios cada hora debido a la naturaleza de nuestro negocio», Ben Hoffman, Director de I+D de Solidus Labs. «Algunos de nuestros clientes envían datos en grandes lotes, mientras que otros nos utilizan como servicio en tiempo real, lo que hace difícil predecir las fluctuaciones de carga de nuestros servicios».
Al automatizar las recomendaciones de recursos y las decisiones de escalado, PerfectScale permitió al equipo dejar atrás las intervenciones reactivas y manuales. Antes pasaban horas estabilizando su clúster más grande y replicando configuraciones en otros, sólo para ver cómo los resultados se degradaban rápidamente. Con PerfectScale, ese esfuerzo se hizo innecesario, y se eliminó el derroche de recursos en los clústeres más pequeños.
«Me metía en un Grafana y sacaba métricas de Prometheus y registros de Logz.io, y hacía ajustes en las peticiones en función de los distintos picos de nuestro entorno», Shemtov Fisher, ingeniero de DevOps en Solidus Labs/Develeap. «Luego pasaban unas semanas, y empezábamos a ver cómo resurgían los problemas de ralentización y memoria, lo que llevaba a una segunda ronda de ajustes. Cuando me lancé por tercera vez, supe que necesitábamos una solución que nos ayudara a automatizar este proceso. PerfectScale de DoiT es la solución exacta que necesitábamos para llenar este vacío».
Mejora de la estabilidad de Kubernetes reduciendo en un 90% los problemas de estrangulamiento de la CPU y OOM
Poco después de implantar PerfectScale de DoiT, Solidus pudo «escalar correctamente» de forma proactiva sus recursos de pods, reduciendo significativamente el estrangulamiento de la CPU y los problemas de OOM.
«Pasamos de tener varios problemas al día, a quizá uno o dos en el último mes», dijo Hoffman. «Con PerfectScale, hemos visto una reducción de más del 90%, lo que nos ayuda a garantizar que nuestras aplicaciones tengan la capacidad necesaria para satisfacer la demanda de nuestros clientes».
Además, PerfectScale ha reducido drásticamente el tiempo medio de resolución (MTTR) de los problemas relacionados con la capacidad.
«Antes de PerfectScale, el equipo de Dev Ops recibía una alerta cuando se producía un problema, y luego lo enviábamos al propietario del servicio adecuado para que lo resolviera», Barak Arzuan, ingeniero de DevOps de Solidus Labs/Develeap. «Dependiendo de la criticidad, los propietarios del servicio podían tardar horas o incluso más en evaluar el problema y proporcionarnos los requisitos de recursos adecuados. Con PerfectScale, podemos proporcionar inmediatamente a los proveedores de servicios pruebas de por qué se produce el problema, junto con recomendaciones precisas sobre cómo resolverlo. Esto nos ha ayudado mucho en nuestras operaciones diarias».
Se acabó el trabajo manual continuo para la salud del sistema y la rentabilidad.
Añadir capacidad adicional para mejorar la resistencia y estabilidad del sistema tiene un precio. Para mitigar los costes adicionales, el equipo aprovechó las funciones de optimización de costes de PerfectScale para trasladar los recursos no utilizados a las áreas que necesitaban capacidad adicional.
«En algunos de nuestros clusters, encontramos importantes oportunidades de ahorro de costes», explicó Arzuan. «Pudimos reinvertir estos ahorros en nuestros clusters que carecían de recursos. El resultado fue un entorno totalmente estable, resistente y rentable, sin repercusiones en nuestro presupuesto.»
«Tenemos un gran número de clientes, cada uno de los cuales utiliza nuestra aplicación de forma ligeramente diferente. Mantener optimizado nuestro entorno Kubernetes es esencial para que Solidus Labs se asegure de que nuestras aplicaciones tienen los recursos que necesitan para dar soporte a nuestros clientes hoy, y a medida que nuestra empresa siga creciendo en el futuro», dijo Hoffman. «PerfectScale está eliminando las tediosas tareas manuales a las que nos enfrentábamos en el pasado, facilitando el mantenimiento continuo de la salud y la rentabilidad de nuestro sistema.»
Resultados
Con PerfectScale, Solidus Labs transformó su entorno Kubernetes, pasando de la resolución reactiva de problemas a la optimización proactiva. Al redimensionar los recursos de forma inteligente, Solidus eliminó la mayoría de los cuellos de botella de rendimiento y recuperó un valioso tiempo de ingeniería.
- Reducción del 90% de los problemas que afectan al SLA, eliminando prácticamente el estrangulamiento de la CPU y los errores OOM.
- Un descenso significativo del MTTR para incidencias relacionadas con la capacidad, lo que permite a los ingenieros resolver los problemas más rápidamente con información procesable.
- Reasignación eficiente de recursos, con ahorros de costes de clusters sobreaprovisionados que se reinvierten en clusters con recursos limitados.
- Escalabilidad segura, ya que Solidus está ahora equipado para dar soporte a clientes en tiempo real y por lotes por igual, incluso a medida que crece la demanda.
PerfectScale de DoiT proporcionó la estabilidad y flexibilidad que Solidus Labs necesitaba para escalar con confianza sin sacrificar la rentabilidad ni la velocidad de desarrollo.