Empresas que querem extrair mais valor dos seus dados precisam olhar para o machine learning. Mostramos por quê e apresentamos casos de empresas data-driven usando ML com sucesso.
Como o ML pode ajudar você a extrair valor de negócio real dos seus dados
A missão de se tornar mais data-driven vem motivando empresas há anos. Cientes de que estão imersas em dados capazes de embasar decisões de negócio que esmagam a concorrência, elas perseguem incansavelmente estratégias para extrair mais valor dessas informações — com resultados desiguais.
Uma das áreas da tecnologia com maior potencial nesse sentido é o machine learning (ML). No Google Next 2022, inclusive, Irina Farooq, Senior Director, Product Management, Smart Analytics no Google Cloud, previu que até 2025, 90% dos dados serão acionáveis por meio de ML.
Vamos entender o que torna o sucesso data-driven tão difícil, o papel do ML na extração de valor dos dados e os resultados concretos que ele já vem gerando.
Por que os dados não estão gerando valor
Pesquisas mostram a dificuldade que as empresas têm de transformar dados em valor de negócio. Depois de uma pesquisa da Accenture de 2019 revelar que apenas 32% das empresas conseguem obter valor tangível dos seus dados, um estudo da NewVantage de 2021 mostrou que só 24% dos executivos consideram suas empresas data-driven. As organizações estão administrando infraestrutura de dados, movimentando informações e disponibilizando-as aos usuários, muitas vezes sem um roadmap claro para colocar todo esse potencial em prática.
Entre os obstáculos para tirar valor de negócio dos dados estão a cultura corporativa, o volume gigantesco de informações que inunda as organizações e as preocupações com propriedade e privacidade. Diante desses desafios, muitos líderes têm dificuldade em montar estratégias de dados realistas. Alguns adotam um programa centralizado, com uma única equipe extraindo, limpando e agregando dados, o que gera uma abordagem genérica e quase sempre desalinhada das necessidades específicas dos usuários finais. Outros optam por equipes separadas para criar pipelines de dados sob medida — com pouco potencial de reaproveitamento.
O caminho é outro: as empresas precisam desenhar estratégias de dados incrementais, prontas para entregar valor rápido, mas com escalabilidade já prevista para uso futuro.
Como o machine learning pode ajudar
O machine learning é um ramo da inteligência artificial (IA) que alimenta algoritmos com dados históricos para identificar padrões e prever resultados futuros. Esse foco em usar os dados para gerar previsões, decisões e recomendações é o que o torna tão atraente para organizações data-driven.
Os algoritmos de ML processam dados históricos (geralmente chamados de dados de treinamento) para criar um modelo preditivo. Cada dataset de ML é composto por variáveis (features) e observações (registros). As soluções preditivas de ML precisam identificar as variáveis independentes (entradas) que mais influenciam a variável dependente — o resultado que queremos prever.
Já os modelos de ML não supervisionados agrupam e categorizam dados para identificar padrões, em vez de prever resultados. É isso que permite, por exemplo, que empresas de streaming de conteúdo ajudem seus clientes a descobrir conteúdos do interesse deles via recomendações e busca.
Como aproveitar o ML de forma eficaz
O ML não é uma varinha de condão para gerenciar dados. Empresas com sistemas legados terão de modernizá-los para garantir que funcionem bem com soluções de ML. Os stakeholders relevantes precisam priorizar a qualidade dos dados brutos que alimentam o dataset de treinamento em todas as etapas — da aquisição dos dados à preparação e à avaliação dos resultados. Isso significa que a liderança precisa apoiar as soluções de machine learning como caminho para atingir objetivos e metas de negócio claramente definidos.
A importância da qualidade dos dados
Algoritmos de machine learning treinados com datasets de baixa qualidade produzem resultados imprecisos. Dados brutos extraídos de cenários reais sempre estarão sujeitos a ruído e valores ausentes provocados por erros manuais, problemas técnicos, eventos imprevistos e outros fatores. Mas, em geral, os algoritmos não foram projetados para lidar com valores ausentes, e o ruído pode comprometer o padrão real da amostra. Por isso, é necessário fazer o pré-processamento dos dados antes que o algoritmo possa consumi-los. Esse processo preenche valores ausentes, remove ruído, resolve inconsistências e elimina outliers.
Validando seu modelo de ML
Depois de construir seu modelo de ML, é hora de avaliar a utilidade dele no mundo real. Escolher a métrica de validação certa é especialmente importante em datasets desbalanceados, em que a distribuição das classes é bastante assimétrica e a amostra da classe positiva é tão pequena que o modelo não consegue aprender.
Esse é um problema comum em iniciativas de ML em medicina e genômica. Imagine, por exemplo, que você está desenvolvendo um algoritmo de classificação que prevê se uma pessoa tem ou não um distúrbio genético. Se apenas 1% da população tem esse distúrbio, dá para criar um classificador que sempre prevê que a pessoa não tem a doença — o modelo teria 99% de acurácia, mas seria totalmente inútil. Esse desbalanceamento pode ser tratado com técnicas de subamostragem aleatória da classe majoritária e sobreamostragem da classe minoritária, e detectado com métricas mais adequadas, como o F1-score em vez da acurácia.
Confiando nos dados
No Google Next 22, Irina Farooq falou sobre a necessidade de enxergar e confiar nos dados para que o ML seja eficaz. Isso significa usar ferramentas automatizadas de catalogação para descobrir e gerenciar seus dados em um único local centralizado. Você também precisa trabalhar com os dados em tempo real, então é importante combinar ferramentas proprietárias e open-source de forma equilibrada para que seus times atuem sobre todos os dados e, depois, aplicar streaming analytics para trabalhar com as informações na medida em que são coletadas.
Quando o assunto é confiança, a explicabilidade virou um elemento central do ML, jogando luz sobre o que acontece dentro de um modelo entre a entrada e a saída e dando uma nova ênfase à transparência. A inteligência artificial explicável (XAI) surgiu como um conjunto de processos e métodos para tornar os resultados e as saídas dos algoritmos de machine learning compreensíveis e confiáveis. É um ponto-chave para empresas que querem conduzir iniciativas de ML responsáveis.
Cloud bill shouldn't be a mystery
One platform for AI and Cloud optimization.
Otimizando seus modelos
Ciclos curtos de feedback também são essenciais para garantir que suas iniciativas de ML entreguem valor de verdade. A otimização iterativa dos modelos reduz o erro entre a saída prevista e a saída real, medido por uma função de custo. Para evitar gerar modelos que não vão para frente a partir da sua prova de conceito de ML, deve haver uma forte correlação entre a função de custo otimizada usada no algoritmo e uma métrica de negócio como o ROI.
Práticas como escrever testes automatizados, adotar integração e entrega contínuas (CI/CD) e fazer testes de usuário consistentes antes de lançar uma iniciativa de ML mais ampla aceleram bastante a otimização dos seus modelos. Ao aplicar princípios de DevOps em todas as etapas da construção do sistema de ML, as organizações podem caminhar rumo a uma cultura madura de MLOps, em que tanto os pipelines de ML quanto os de CI/CD são automatizados.
Onde o ML está gerando insights valiosos
A DoiT atende uma série de clientes que aplicam machine learning aos seus dados de formas criativas — com resultados impressionantes. Veja alguns exemplos:
Uma experiência de varejo mais fluida
A CB4 usa ML para tornar a experiência na loja mais simples para colaboradores e clientes do varejo. Com a solução baseada em ML, a equipe da loja pode fazer ajustes simples, como pedir unidades adicionais de um produto ou tirar outro item do estoque para atender clientes e gerar novas vendas. Cada loja recebe uma lista personalizada de recomendações de SKUs (stock-keeping units) que poderia vender mais, com base em seus padrões de venda e condições operacionais únicas.
A CB4 usou ferramentas do Google Cloud e trabalhou com a DoiT para construir um pipeline de dados mais enxuto, operações de ML 30% mais performáticas e maior visibilidade de custos. O novo sistema também ajuda a empresa a garantir o armazenamento seguro dos dados, em conformidade com o GDPR e outras regulamentações internacionais de proteção de dados. Do ponto de vista de performance, é fácil integrar novos varejistas à solução de dados e manter alta disponibilidade mesmo em picos de demanda e durante a escala.
Storytelling online em escala
A Apester ajuda empresas a transmitirem suas mensagens por meio de experiências sociais interativas — como quizzes e enquetes — que se integram facilmente aos sites e podem ser distribuídas em larga escala. Conforme o número de usuários cresceu e ampliou o volume de dados, a empresa precisou adotar uma solução de business intelligence (BI) e data warehousing facilmente escalável.
Construiu essa solução em torno do Google Cloud, incorporando Cloud Dataflow, Cloud Dataproc e Cloud Bigtable para processamento de dados e analytics. Com seus recursos nativos de ML e BI, o data warehouse BigQuery se tornou a principal solução de analytics da Apester. Os dados no BigQuery e o trabalho da empresa com módulos do Cloud Natural Language criaram a base para uma iniciativa de ML, e hoje ela investe pesado nessa frente. Usa a plataforma Tensorflow em seu pipeline, o que permite acelerar a resposta às necessidades dos clientes mesmo enquanto cresce.
Detecção de fraudes em tempo real
A empresa de detecção de fraudes 24metrics oferece uma solução chamada ClickShield, que ajuda empresas a identificar usuários fraudulentos em tempo real. Normalmente, leva semanas para confirmar se os usuários de um app são reais e não bots, mas a 24metrics usa ML em suas soluções para prever a qualidade dos usuários. A DoiT ajudou a empresa a identificar as ferramentas de ML adequadas e, depois de uma sessão inicial com o time da DoiT, eles conseguiram treinar o primeiro modelo por conta própria.
Insatisfeitos com os resultados desse primeiro modelo, voltaram a consultar a DoiT, que ajudou a analisar os resultados, identificar possíveis problemas na abordagem de treinamento e oferecer alternativas. Seguindo as recomendações da DoiT, desenvolveram rapidamente um modelo bem treinado, que a DoiT ajudou a colocar em produção de forma econômica. A 24metrics tinha projetado mais de cinco meses para construir o algoritmo de ML e lançar a nova funcionalidade, mas, com o suporte da DoiT, tudo levou apenas dois meses e foi mais simples do que o esperado.
Edição de conteúdo intuitiva em escala
Os apps da Lightricks, como Facetune, Videoleap e Photoleap, ajudam a agilizar a edição de conteúdo para videomakers profissionais, designers gráficos e criadores de sites. Como algumas campanhas de anúncios online exigem relatórios quase instantâneos sobre vários terabytes de dados, esses apps ingerem e analisam volumes enormes de dados predominantemente mobile, muitas vezes em tempo quase real. A empresa usa o Google Cloud Dataflow para processar dados de comportamento dos usuários, que depois são ingeridos no BigQuery para análise em escala.
A DoiT oferece suporte contínuo para esse programa elaborado de machine learning, com orientação que vai da arquitetura à resolução de problemas. A Lightricks está expandindo seu programa de ML, e os times de marketing, otimização de produto e mecanismo de recomendação já estão criando seus próprios modelos. Após começar com ML autogerenciado no Google Cloud Compute Engine, a empresa vem migrando aos poucos para serviços gerenciados no Vertex AI do Google Cloud para escalar ainda mais rápido.
Próximos passos
O machine learning talvez não seja a solução completa para empresas que se debatem com seus dados, mas pode ser parte importante dela. Com a liderança, a cultura e as estruturas certas, dá para usar o ML para extrair valor dos dados de forma rápida e eficaz, tirando o máximo de retorno para o negócio. Para empresas que estão avaliando o ML como parte da sua estratégia de dados e também para aquelas já bem avançadas nessa jornada, a DoiT oferece suporte e orientação para acelerar e otimizar seus esforços.
