Recentemente, nós três participamos de uma turma piloto do programa AWS Partner Black Belt em Machine Learning e Inteligência Artificial e conquistamos nossas certificações. Neste post, vamos contar como é o programa, incluindo as sessões de aprendizado e o projeto final.
Ou como tocamos o piloto desse programa avançado de certificação
Escrito em parceria com meus colegas da DoiT International, Gad Benram e Darren Brien
Introdução
Recentemente, nós três participamos de uma turma piloto do programa AWS Partner Black Belt em Machine Learning e Inteligência Artificial e conquistamos nossas certificações. Neste post, vamos contar como é o programa, incluindo as sessões de aprendizado e o projeto final.
Antes disso, já tínhamos conquistado outras certificações de provedores de nuvem, como a AWS Certified Machine Learning Specialty. O Black Belt é um nível mais avançado de certificação, que comprova experiência de verdade — e não conhecimento decorado de última hora. Em vez de uma prova de múltipla escolha, a avaliação é feita por meio de um projeto final (capstone), com nível de dificuldade parecido com o de um trabalho de fim de semestre na faculdade.
Os participantes eram profissionais de ML que atuam na nuvem AWS. Os instrutores e avaliadores eram arquitetos e gerentes de produto da AWS especializados na área.
Na DoiT International, nossas especializações vão de infraestrutura de nuvem a ML, e nossas atribuições passam por consultoria a clientes e desenvolvimento de sistemas de ML. Mesmo assim, o programa fez sentido para cada um de nós — e talvez também faça para você.
Aulas e laboratórios
A seguir, vamos descrever alguns dos elementos essenciais de AWS ML que vimos. Se você já domina tudo isso — ótimo! Vai passar com facilidade. Mas o mais provável é que, mesmo com anos de experiência, você ainda não tenha trabalhado com toda a gama de serviços da AWS ao longo do workflow de ML — e essa é a sua chance de aprender.
O programa começa com sessões de aprendizado online, cerca de 10 horas por semana durante quatro semanas. Elas incluem aulas, walkthroughs estruturados das tecnologias e laboratórios ao vivo. A segunda metade do programa é o projeto capstone, com mais ou menos a mesma carga de tempo.
Cadê os dados?
O primeiro passo em qualquer projeto de ML é perguntar: "Onde estão seus dados?"
A AWS tem várias soluções para ingerir, descobrir e transformar dados, deixando-os prontos e prontos para uso em projetos de ML.
As suítes de serviços Kinesis e Glue formam uma combinação poderosa para ingestão e transformação serverless conforme os dados chegam em tempo real. Outra opção para transformação é o EMR, um ecossistema Hadoop gerenciado. Em geral, todas elas gravam o resultado no S3, a opção padrão de armazenamento de dados em Machine Learning.
O passo seguinte na gestão de dados é montar uma grande coleção de dados que possa ser analisada para gerar insights de negócio e identificar padrões úteis no treinamento de ML. O Glue Data Catalog registra a localização e o schema dos seus dados, enquanto o Lake Formation define os caminhos para os dados junto com conjuntos granulares de permissões.
Em seguida, dá para analisar os dados com SQL usando os motores poderosos do Athena sobre o S3 . Como alternativa , em vez de um lake de dados não estruturados no S3, você pode usar o Redshift como data warehouse estruturado.
Deixe o Autopilot voar por você
O Sagemaker Autopilot pode te poupar algumas etapas. A ferramenta escolhe um algoritmo com boas chances de funcionar e o testa em diversos valores de parâmetros. É útil para uma primeira rodada rápida, mas você terá respostas mais precisas e mais baratas se explorar e preparar os dados antes, organizando-os de um jeito que o algoritmo consiga aproveitar de verdade.
Explore antes
Antes de fazer, é preciso entender o que você vai fazer — e essa etapa se chama Análise Exploratória de Dados (EDA).
A visualização de datasets completos pode ser feita na ferramenta de business intelligence QuickSight, mas a maior parte da EDA acontece no Sagemaker Notebook, um ambiente de desenvolvimento interativo para Python voltado a ML. Você pode pré-processar, analisar e explorar os dados, e até rodar modelagem e avaliação em iterações rápidas, preparando o terreno para usar os serviços distribuídos e escaláveis da AWS.
Será que enfim podemos fazer um pouco de ML?
Enfim, é hora de escolher e rodar um algoritmo de machine learning. O Amazon Sagemaker oferece vários algoritmos prontos para uso: DeepAR, XGBoost, e cerca de mais uma dúzia, cada um com seus próprios casos de uso. Para um ajuste mais fino, o Sagemaker hyperparameter optimization permite experimentar automaticamente valores em múltiplas dimensões. Se você desenvolveu seus próprios algoritmos, dá para empacotá-los em um ML container e integrá-los a todo o poder do sistema Sagemaker.
Machine Learning Ops na AWS
A última parte do programa Black Belt focou em colocar modelos em produção: ML Ops. A abordagem da Amazon para essa área em rápida evolução é uma versão dos AWS Well-Architected Five Pillars centrada em ML, com base em práticas que viraram padrão na engenharia de software.
O modelo vai mudar
À medida que novos dados chegam, as inferências precisam refletir as mudanças. O Sagemaker Pipelines automatiza esse processo de treinamento e deploy, criando versionamento de APIs e modelos. As versões podem rodar lado a lado em testes A/B ponta a ponta. O monitoramento de performance do modelo mostra se a acurácia caiu o suficiente para exigir um novo treinamento.
Segurança é prioridade zero
Para controlar o acesso no nível de rede, os Sagemaker Notebooks, os jobs de treinamento e os endpoints de inferência podem ser implantados dentro da sua VPC. Você também controla o acesso a cada um deles no nível do usuário usando o IAM.
Mantenha tudo no ar
Os endpoints de inferência do Sagemaker funcionam em modo on-demand ou em lote. O Sagemaker mantém esses endpoints com alta disponibilidade por meio de autoscaling e failover automático sempre que necessário.
Projeto capstone
Implementar uma solução é a melhor forma de consolidar o aprendizado — e também a melhor forma de mostrar do que você é capaz. Ficamos animados ao descobrir que o programa Black Belt incluía não só os laboratórios ao vivo, mas também um projeto capstone de quatro semanas. Cada participante escolheu um dos projetos de ML em áreas como detecção de anomalias e manutenção preventiva. A equipe da AWS deu uma orientação cuidadosa ao longo de todo o caminho e fez questão de estar disponível para nós no Slack.
Nossos projetos foram avaliados com base em uma rubrica detalhada — um guia de avaliação que listava tecnologias e soluções a serem aplicadas em todas as etapas da entrega de um sistema de ML, da ingestão à transformação, ao treinamento, à avaliação e ao ML Ops.
Conclusão
Somos gratos pelo apoio e pela orientação da equipe da AWS: desenhar o programa, ministrar o treinamento e avaliar os projetos capstone não foi tarefa pequena.
O AWS AI/ML Black Belt é ao mesmo tempo uma certificação exclusiva e uma forma diferente de aprender. Recomendamos para quem quer dar um passo adiante em ML e mostrar isso ao mundo.
Obrigado pela leitura! Para ficar por dentro, acompanhe a gente no DoiT Engineering Blog , no LinkedIn da DoiT e no Twitter da DoiT . Para conhecer oportunidades de carreira, acesse https://careers.doit.com .