Hace poco, los tres participamos en una edición piloto del programa AWS Partner Black Belt en Machine Learning e Inteligencia Artificial, y obtuvimos nuestras certificaciones. En este post te contamos en qué consiste el programa, las sesiones de aprendizaje y el proyecto final.
O cómo participamos en el piloto de este programa avanzado de certificación
Escrito junto a mis colegas de DoiT International, Gad Benram y Darren Brien
Introducción
Hace poco, los tres participamos en una edición piloto del programa AWS Partner Black Belt en Machine Learning e Inteligencia Artificial, y obtuvimos nuestras certificaciones. En este post te contamos en qué consiste el programa, las sesiones de aprendizaje y el proyecto final.
Ya antes habíamos obtenido certificaciones de proveedores cloud, entre ellas la AWS Certified Machine Learning Specialty. La Black Belt es una certificación de mayor nivel: refleja experiencia real y no conocimientos memorizados a último minuto. En lugar de un examen de opción múltiple, se evalúa con un proyecto final tipo capstone, con un nivel de dificultad parecido al de un trabajo final universitario.
Los participantes éramos profesionales de ML que trabajamos en la nube de AWS. Los instructores y evaluadores fueron arquitectos y product managers de AWS especializados en el área.
En DoiT International nuestras especializaciones van desde la infraestructura cloud hasta el ML, y nuestras responsabilidades abarcan desde asesorar a clientes hasta desarrollar sistemas de ML. Aun así, el programa nos calzó bien a cada uno, y quizá también te quede como anillo al dedo.
Clases y laboratorios
A continuación te contamos algunos de los elementos esenciales de AWS ML que vimos. Si ya los conoces todos, ¡genial! Aprobar te será pan comido. Pero lo más probable es que, incluso con años de experiencia, no hayas trabajado con toda la gama de servicios de AWS a lo largo del flujo de ML, y esta es tu oportunidad para hacerlo.
El programa arranca con sesiones de aprendizaje en línea, unas 10 horas semanales durante cuatro semanas. Incluyen clases, recorridos guiados por las tecnologías y laboratorios en vivo. La segunda mitad del programa es el proyecto capstone, con una dedicación parecida.
Dame algunos datos
El primer paso de cualquier proyecto de ML es preguntar: "¿Dónde están tus datos?"
AWS ofrece varias soluciones para ingerir, descubrir y transformar datos, de modo que estén disponibles y listos para usarse en proyectos de ML.
Las suites Kinesis y Glue son una combinación potente para la ingesta y transformación serverless a medida que los datos llegan en tiempo real. Otra opción para la transformación es EMR, un ecosistema Hadoop administrado. Todas suelen depositar su salida en S3, la opción de almacenamiento por excelencia en Machine Learning.
El siguiente paso en la gestión de datos es armar una colección masiva de información que se pueda analizar en busca de insights de negocio y patrones útiles para entrenar modelos de ML. Glue Data Catalog registra la ubicación y el esquema de tus datos, mientras que Lake Formation define rutas para tus datos junto con permisos granulares.
Después puedes analizar los datos con SQL aprovechando los potentes motores de Athena sobre S3 . Como alternativa , en lugar de un lake de datos no estructurados en S3, puedes usar Redshift como data warehouse estructurado.
Deja que Autopilot vuele por ti
Sagemaker Autopilot puede ahorrarte algunos pasos. Esta herramienta elige un algoritmo con buenas probabilidades de funcionar y lo prueba con muchos valores de parámetros distintos. Sirve para un primer intento rápido, pero obtendrás resultados más precisos y a menor costo si primero exploras y preparas los datos, dejándolos listos para que tu algoritmo les saque jugo.
Explora antes
Hay que entender lo que vas a hacer antes de hacerlo, y ese paso se llama Análisis Exploratorio de Datos (EDA).
La visualización de datasets completos se puede hacer en la herramienta de business intelligence QuickSight, pero la mayor parte del EDA ocurre en Sagemaker Notebook, un entorno de desarrollo interactivo para Python orientado a ML. Puedes preprocesar, analizar y explorar los datos, e incluso ejecutar el modelado y la evaluación con iteraciones rápidas, como antesala a los servicios distribuidos y escalables de AWS.
¿Por fin podemos hacer algo de ML?
Por fin llegó la hora de elegir y ejecutar un algoritmo de machine learning. Amazon Sagemaker trae una variedad de algoritmos listos para usar: DeepAR, XGBoost y cerca de una docena más, cada uno con sus propios casos de uso. Para afinarlos mejor, la optimización de hiperparámetros de Sagemaker te permite experimentar de forma automática con valores en múltiples dimensiones. Si desarrollaste tus propios algoritmos, puedes empaquetarlos en un contenedor de ML e integrarlos a toda la potencia del sistema Sagemaker.
Machine Learning Ops en AWS
La última parte del programa Black Belt se enfocó en llevar modelos a producción: ML Ops. El enfoque de Amazon para esta área en plena evolución son los cinco pilares del AWS Well-Architected Framework con una mirada centrada en ML, basados en prácticas ya estándar en la ingeniería de software.
El modelo va cambiando
A medida que llegan datos nuevos, las inferencias deben reflejar esos cambios. Sagemaker Pipelines automatiza este proceso de entrenamiento y despliegue, generando versionado de APIs y modelos. Las versiones pueden ejecutarse en paralelo para realizar pruebas A/B de extremo a extremo. El monitoreo del desempeño del modelo te permite ver si la precisión cayó lo suficiente como para requerir un reentrenamiento.
La seguridad es la prioridad cero
Para controlar el acceso a nivel de red, los Sagemaker Notebooks, los trabajos de entrenamiento y los endpoints de inferencia pueden desplegarse dentro de tu VPC. También controlas el acceso a cada uno a nivel de usuario mediante IAM.
Mantenlo en marcha
Los endpoints de inferencia de Sagemaker están disponibles para servicio bajo demanda o por lotes. Sagemaker los mantiene altamente disponibles con autoescalado y failover automático cuando hace falta.
Proyecto capstone
Implementar una solución es la mejor manera de consolidar lo aprendido y, de paso, la mejor forma de demostrar tus habilidades. Nos entusiasmó descubrir que el programa Black Belt incluía no solo laboratorios en vivo, sino también un proyecto Capstone de cuatro semanas. Cada participante eligió uno de los proyectos de ML en áreas como detección de anomalías y mantenimiento preventivo. El equipo de AWS nos acompañó con una guía cuidadosa durante todo el camino, e hizo un esfuerzo extra para estar disponible en Slack.
Nuestros proyectos se evaluaron con una rúbrica integral, una guía de calificación que listaba las tecnologías y soluciones que debíamos usar en todos los aspectos de la entrega de un sistema de ML: desde la ingesta y la transformación, hasta el entrenamiento, la evaluación y el ML Ops.
Conclusión
Agradecemos el apoyo y la guía del equipo de AWS: diseñar el programa, impartir la capacitación y revisar los proyectos capstone no fue tarea menor.
La certificación AWS AI/ML Black Belt es a la vez exclusiva y una manera distinta de aprender. Se la recomendamos a cualquiera que quiera dar un paso adelante en ML y demostrarlo al mundo.
¡Gracias por leernos! Para no perderte nada, síguenos en el DoiT Engineering Blog , el canal de LinkedIn de DoiT y el canal de Twitter de DoiT . Para conocer oportunidades laborales, visita https://careers.doit.com .