Nous avons récemment participé tous les trois à la version pilote du programme AWS Partner Black Belt en Machine Learning et Intelligence Artificielle, et nous avons décroché nos certifications. Dans cet article, nous vous présentons le programme, ses sessions de formation et son projet final.
Retour sur notre participation au pilote de ce programme de certification avancée
Rédigé avec mes collègues de DoiT International, Gad Benram et Darren Brien
Introduction
Nous avons récemment participé tous les trois à la version pilote du programme AWS Partner Black Belt en Machine Learning et Intelligence Artificielle, et nous avons décroché nos certifications. Dans cet article, nous vous présentons le programme, ses sessions de formation et son projet final.
Nous avons déjà obtenu par le passé plusieurs certifications de fournisseurs cloud, dont l'AWS Certified Machine Learning Specialty. La Black Belt est une certification d'un niveau supérieur, qui valide une véritable expérience plutôt que des connaissances apprises par cœur dans l'urgence. Au lieu d'un QCM, elle s'évalue à travers un projet final, dont la difficulté équivaut à peu près à celle d'un projet universitaire de fin de semestre.
Les participants étaient des praticiens du ML travaillant sur le cloud AWS. Les formateurs et les évaluateurs étaient des architectes AWS et des product managers spécialisés dans le domaine.
Chez DoiT International, nos spécialités vont de l'infrastructure cloud au ML, et nos missions du conseil client au développement de systèmes ML. Le programme s'est néanmoins révélé adapté à chacun d'entre nous — et il pourrait l'être pour vous aussi.
Cours et travaux pratiques
Voici quelques-uns des éléments essentiels d'AWS ML que nous avons abordés. Si vous maîtrisez déjà tout cela — parfait, la réussite sera un jeu d'enfant ! Mais il y a fort à parier que, même avec des années d'expérience, vous n'avez pas eu l'occasion de manipuler l'ensemble des offres AWS couvrant le workflow ML : c'est le moment d'apprendre.
Le programme commence par des sessions de formation en ligne, à raison d'environ 10 heures par semaine pendant quatre semaines. Au menu : cours, démonstrations structurées des technologies et labs en direct. La seconde moitié du programme est consacrée au projet final, avec un volume horaire similaire.
Donnez-moi des données
La première étape de tout projet ML revient à se poser la question : où sont vos données ?
AWS propose plusieurs solutions pour ingérer, découvrir et transformer les données afin de les rendre rapidement disponibles et exploitables pour les projets ML.
Les suites de services Kinesis et Glue forment une combinaison redoutable pour l'ingestion et la transformation serverless de données arrivant en temps réel. Autre solution de transformation : EMR, un écosystème Hadoop managé. Toutes ces solutions déposent généralement leur sortie dans S3, le stockage de référence pour le Machine Learning.
L'étape suivante consiste à constituer une vaste collection de données, qui pourra être analysée pour en extraire des insights métier et des motifs utiles à l'entraînement ML. Glue Data Catalog capture l'emplacement et le schéma de vos données, tandis que Lake Formation définit les chemins d'accès et des permissions granulaires.
Vous pouvez ensuite analyser les données en SQL grâce aux puissants moteurs d'Athena au-dessus de S3 . Autre option : utiliser Redshift comme entrepôt de données structurées, plutôt qu'un lac de données non structurées dans S3.
Laissez Autopilot piloter pour vous
Sagemaker Autopilot peut vous faire gagner quelques étapes. Cet outil sélectionne un algorithme susceptible de fonctionner et le teste sur de nombreuses combinaisons de paramètres. Pratique pour une première exécution rapide, mais vous obtiendrez des résultats plus précis et moins coûteux en commençant par explorer et préparer les données, en les structurant de façon à ce que votre algorithme puisse vraiment s'y attaquer.
Explorer avant tout
Avant d'agir, il faut comprendre ce que l'on s'apprête à faire — c'est ce que l'on appelle l'analyse exploratoire des données (Exploratory Data Analysis).
La visualisation de jeux de données complets peut s'effectuer dans l'outil de business intelligence QuickSight, mais l'essentiel de l'EDA se déroule dans Sagemaker Notebook, un environnement de développement interactif pour Python orienté ML. Vous pouvez prétraiter, analyser et explorer les données, et même mener votre modélisation et votre évaluation par itérations rapides, en préparation des services distribués et scalables d'AWS.
Place enfin au ML, s'il vous plaît !
Il est enfin temps de choisir et d'exécuter un algorithme de machine learning. Amazon Sagemaker propose toute une gamme d'algorithmes prêts à l'emploi : DeepAR, XGBoost, et une douzaine d'autres, chacun avec ses cas d'usage. Pour un réglage plus fin, l'optimisation d'hyperparamètres Sagemaker vous permet d'expérimenter automatiquement des valeurs sur plusieurs dimensions. Si vous avez développé vos propres algorithmes, vous pouvez les empaqueter dans un conteneur ML et les intégrer à toute la puissance du système Sagemaker.
Machine Learning Ops sur AWS
La dernière partie du programme Black Belt portait sur la mise en production des modèles : le ML Ops. L'approche d'Amazon dans ce domaine en évolution rapide repose sur les cinq piliers du AWS Well-Architected appliqués au ML, fondés sur des pratiques devenues standard en ingénierie logicielle.
Un modèle qui évolue en continu
À mesure que de nouvelles données arrivent, les inférences doivent refléter ces changements. Sagemaker Pipelines automatise ce processus d'entraînement et de déploiement, en assurant le versioning des API et des modèles. Les différentes versions peuvent tourner en parallèle pour des tests A/B de bout en bout. Le monitoring des performances du modèle permet de détecter une dérive de précision suffisante pour déclencher un ré-entraînement.
La sécurité, priorité absolue
Pour contrôler les accès au niveau réseau, les Sagemaker Notebooks, les jobs d'entraînement et les endpoints d'inférence peuvent chacun être déployés dans votre VPC. Vous gérez également les accès au niveau utilisateur via IAM.
Assurer la continuité
Les endpoints d'inférence Sagemaker sont disponibles en mode à la demande ou en batch. Sagemaker en garantit la haute disponibilité grâce à l'autoscaling et au failover automatique selon les besoins.
Projet final
Implémenter une solution reste la meilleure façon de consolider ses acquis — et aussi de démontrer ses compétences. Nous avons été ravis de constater que le programme Black Belt incluait non seulement des labs en direct, mais aussi un projet final de quatre semaines. Chaque participant a choisi l'un des projets ML proposés, dans des domaines comme la détection d'anomalies ou la maintenance préventive. L'équipe AWS nous a accompagnés avec attention tout au long du parcours, en se rendant disponible sur Slack avec un vrai sens du service.
Nos projets ont été notés selon une grille d'évaluation complète, listant les technologies et solutions à mobiliser sur tous les aspects de la livraison d'un système ML : ingestion, transformation, entraînement, évaluation, jusqu'au ML Ops.
Conclusion
Nous remercions chaleureusement l'équipe AWS pour son soutien et son accompagnement : concevoir le programme, dispenser la formation et évaluer les projets finaux représentait un travail considérable.
L'AWS AI/ML Black Belt est à la fois une certification exclusive et une autre façon d'apprendre. Nous la recommandons à toute personne souhaitant passer un cap en ML et le faire savoir.
Merci de nous avoir lus ! Pour rester en contact, suivez-nous sur le DoiT Engineering Blog , la page LinkedIn DoiT et le compte Twitter DoiT . Pour découvrir nos opportunités de carrière, rendez-vous sur https://careers.doit.com .