mscope reduz custos de ML e acelera insights de investimento

A DoiT entregou uma consultoria completa em machine learning, incluindo planejamento de custos na AWS, design de arquitetura para fine-tuning de modelos transformer como o Mistral 7B com o framework HuggingFace e otimização de workflows. A DoiT recomendou trocar os clusters EMR, mais caros, pelo SageMaker batch transform com orquestração via Step Functions, e garantiu acesso antecipado ao Amazon Bedrock para experimentar LLMs com bom custo-benefício.

A mscope.tech é uma startup dinâmica em estágio inicial dedicada a extrair o máximo potencial dos dados para embasar decisões de investimento. Com uma visão clara, seu principal objetivo é destravar e aproveitar o valor oculto em grandes volumes de informação. Apoiada em tecnologias de ponta como machine learning e IA, a mscope quer revolucionar a análise de dados. A empresa se dedica a desenvolver metodologias avançadas para resumir documentos e extrair características essenciais de dados coletados da web.

Como startup em estágio inicial, a mscope enfrentava diversos desafios pela falta de expertise interna em machine learning. Era preciso definir como estruturar a infraestrutura e os workflows para treinar e implantar modelos sobre seus dados. A mscope precisava gerar texto em um idioma comum (inglês) a partir de dados multilíngues coletados da web usando large language models (LLMs). Também era necessário um sistema sofisticado de classificação multinível para rotular empresas conforme seu papel na cadeia de suprimentos e a natureza de seus produtos.

A mscope contratou os serviços especializados da DoiT em busca de consultoria para suas necessidades em machine learning. A DoiT apoiou a mscope no planejamento e na estimativa de custos dos serviços AWS necessários, além de desenhar uma solução para fine-tuning de modelos baseados em transformers, como o Mistral 7B, com o framework HuggingFace. A DoiT recomendou que a mscope adotasse o SageMaker batch transform para executar as diferentes etapas e invocar o modelo do SageMaker de forma assíncrona, com orquestração via Step Functions. A relação da DoiT com a AWS permitiu obter acesso antecipado ao Amazon Bedrock em nome da mscope.

A solução da DoiT teve um impacto profundo na mscope e gerou resultados expressivos. Com a recomendação de usar modelos avançados como LLMs, a mscope aprimorou o pré-processamento dos dados brutos multilíngues coletados da web, o que se traduziu em melhorias no algoritmo classificador da mscope. A DoiT ajudou a mscope a tirar proveito dos LLMs, otimizar tempos de processamento e reduzir custos. Com a expertise da DoiT em AWS, a mscope também recebeu suporte para resolver questões ligadas a endpoints do SageMaker e ao uso de clusters EMR.

Diante do sucesso da colaboração, a mscope quer dar continuidade à parceria para construir um novo classificador de empresas. Com os dados de entrada do web scraping já aprimorados, o foco agora passa a ser evoluir ainda mais a classificação de empresas da mscope. A parceria reforça o valor contínuo da expertise da DoiT em ajudar startups a aproveitar tecnologias avançadas de nuvem para crescer.