Batch vs stream: mental model e trade-offs reais

• → SELECT completo
• → lê o log de transação
• → agenda
• → limpeza
• → agregação

• Conceito de arquitetura

Batch e streaming não competem: escolhem-se pela latência exigida e convergem no mesmo lakehouse. O que decide o custo de operação é quanto estado o caminho escolhido obriga você a gerenciar.

1. A pergunta não é "qual é melhor". É "qual latência o negócio precisa e quanto custa entregá-la". Batch é mais simples, mais barato e reprocessável; streaming entrega frescor e cobra em complexidade de estado, janela e ordem.
2. CDC é o que evita varrer a tabela toda. Extração em lote faz SELECT completo ou por marca d'água — pesado na origem. CDC lê o log de transação e captura só a mudança, com impacto mínimo e latência de segundos. É o caminho padrão para banco operacional hoje.
3. Streaming traz três problemas que batch não tem. Estado (o que já vi), janela (como agrupo no tempo) e chegada fora de ordem (watermark). Cada um é uma decisão explícita — e ignorá-los produz agregação silenciosamente errada.
4. Os dois caminhos pousam no mesmo lugar. Bronze recebe de batch e de streaming. Isso é o que permite reprocessar histórico e tempo real com a MESMA lógica de transformação — em vez de manter dois códigos que divergem, que era o problema da arquitetura Lambda clássica.
5. Bronze é imutável de propósito. Guardar o dado como chegou é o que permite corrigir a regra e reprocessar. Sem bronze, um erro de transformação é perda permanente — e a pressão para "economizar armazenamento" apagando o bruto é o arrependimento mais comum em data lake.