O CloudFlow Datastore agora roda SQL

Consulte, transforme e mantenha suas tabelas do Datastore com PostgreSQL, direto dentro de um flow.

As tabelas do Datastore são ótimas para lembrar coisas entre execuções de um flow: quais recursos você já processou, os limites de cada conta, quando um job rodou pela última vez. Mas, na hora de calcular algo a partir desses dados, você batia num muro. Get, Insert, Upsert e Delete conseguem buscar e armazenar linhas, mas não calculam a média de uma coluna, não fazem join entre duas tabelas nem respondem "o número de hoje está fora do padrão em relação aos últimos 30 dias?". Essa lógica acabava indo parar em nós de Code ou, na maioria das vezes, em lugar nenhum.

Essa lacuna deixou de existir. O nó Datastore ganhou uma nova ação: Run SQL.

O que você ganha

O Run SQL executa uma instrução completa com sintaxe PostgreSQL nas suas tabelas do Datastore, dentro do CloudFlow. Você referencia as tabelas pelo nome e vincula valores de etapas anteriores ou de variáveis do flow com parâmetros :name, de modo que uma data calculada por um transform de Date/time cai direto na sua cláusula WHERE. O editor valida a instrução enquanto você digita e, no caso de um SELECT, deriva o schema de saída na hora, para que os nós seguintes possam referenciar cada coluna antes mesmo de o flow rodar.

E não é só SELECT. A ação cobre INSERT, UPDATE e DELETE, além do DDL necessário para uma tabela que se mantém sozinha: CREATE TABLE, adição e remoção de colunas e restrições de unicidade. Um flow agora pode criar sua própria tabela de histórico, agregar dados sobre ela e apagar as linhas mais antigas que a janela de retenção — tudo com três instruções curtas. As instruções rodam sob uma role de banco de dados restrita, limitada às tabelas da sua organização, e, quando você testa uma instrução que modifica dados, o editor pede confirmação antes de mexer em linhas reais.

Comece pelo tutorial

Criamos um exemplo funcional que usa quase tudo isso em um único flow: o Cost spike sentinel. Todas as manhãs, ele registra em uma tabela do Datastore o gasto do dia anterior na AWS por serviço; em seguida, um único SELECT com uma CTE compara cada serviço com sua média móvel dos últimos 30 dias e retorna apenas os serviços rodando mais de 50% acima da linha de base. Um filtro e uma notificação no Slack transformam isso em um alerta, e um DELETE mantém a tabela com 90 dias de histórico. Sem banco de dados externo, sem job de warehouse.

O tutorial do Cost spike sentinel mostra como construir tudo do zero, incluindo o SQL exato.

O Run SQL já está disponível para todos que têm acesso ao Datastore no CloudFlow. Se você criar algo com ele — especialmente aquele tipo de análise entre execuções que antes exigia um banco de dados externo —, conte para a gente. O melhor feedback vem de tabelas e queries reais.