Engenharia de dados confiável: pipelines que quebram alto, não em silêncio

Em resumo: um pipeline confiável não é o que nunca falha. É o que falha alto e cedo, em vez de corromper o relatório em silêncio. Isso se consegue com contrato de dados por fonte, camadas separadas (ingestão, validação, transformação) e quarentena para o que vier errado.

Este é o guia-âncora do tema. Cada parte tem um artigo dedicado, linkado abaixo.

O pior tipo de falha

Quando uma carga quebra, alguém vê e conserta. O problema é quando ela "funciona" com dado errado: uma coluna mudou de lugar, um relacionamento descartou linhas, e o número sai errado com aparência perfeita. Esse é o erro silencioso, o mais caro, porque vira decisão antes de alguém perceber.

Os princípios de um pipeline confiável

1. Contract-first: cada fonte tem um contrato esperado (colunas, tipos, faixas). Quando a fonte muda, o contrato acusa primeiro. Veja o caso do layout que mudou.
2. Camadas separadas: ingestão, validação e transformação isoladas. Uma correção não derruba o resto.
3. Quarentena: dado fora do contrato fica retido e sinalizado, não segue para o consumo. Veja como funciona a quarentena.
4. Testes e logs: qualidade verificada a cada execução, com rastro do que passou.

Observabilidade de dados: enxergar o que o pipeline esconde

Contrato e quarentena barram o erro. Observabilidade de dados (data observability) é o que te avisa que ele apareceu, e onde. A ideia é medir frescor, volume, esquema e distribuição a cada execução, e disparar alerta quando algo foge do padrão histórico. É o que separa "descobri o furo três dias depois" de "o pipeline me avisou em três minutos".

Juntos, contrato, validação e observabilidade formam a base de qualidade de dados, o que o mercado também chama de data reliability: a garantia de que o número que chega ao relatório é o número certo, execução após execução.

Não precisa refazer tudo

O caminho de menor risco é começar pelo trecho mais crítico (onde o erro custa mais), aplicar contrato + validação, e expandir a partir dali, sem parar a operação.

Perguntas frequentes

Qual a diferença entre qualidade de dados e observabilidade de dados? Qualidade de dados é o resultado: o dado chega correto, completo e no formato certo. Observabilidade de dados é o instrumento, métricas de frescor, volume e esquema que acusam o desvio a cada execução, antes de virar relatório. Uma é o objetivo; a outra é como você enxerga se está sendo cumprido.

Preciso de uma ferramenta de data observability para começar? Não. Dá para começar com contagem por camada, checagem de esquema e alerta simples no próprio pipeline. Ferramenta dedicada ajuda quando há muitas fontes e times. O princípio vale antes da ferramenta: medir a cada execução e avisar alto quando algo foge do padrão histórico.

Dá para deixar um pipeline confiável sem refazer tudo? Dá. O caminho de menor risco é começar pelo trecho onde o erro custa mais, aplicar contrato mais validação ali e expandir. Não precisa parar a operação nem reescrever o pipeline inteiro. Confiabilidade se adiciona por camadas, do ponto mais frágil para fora.

Faço isso em pipelines ETL/ELT. Se seus dados quebram em silêncio, eu ajudo a achar o ponto mais frágil.