Il guasto silenzioso dei dati che corrompe un report senza avvisare

In breve: i guasti dei dati peggiori sono quelli che non generano alcun errore. Il caricamento gira, il report si genera e il numero è sbagliato. Ecco come nasce un guasto silenzioso, e il design che lo previene.

Perché il silenzio è peggio del crash

Una pipeline che va in crash viene sistemata lo stesso giorno: qualcuno vede l'allerta rossa e interviene. Una pipeline che continua a girare con dati sbagliati è molto più pericolosa: il numero errato arriva a una decisione prima che qualcuno se ne accorga, viene citato in una riunione e finisce dentro un piano. Quando riemerge, ci si è già fidati. È questa la trappola.

Come accade

La maggior parte dei guasti silenziosi parte da un cambiamento che nessuno ha annunciato:

1. Un file di origine aggiunge o toglie una colonna, e tutti i campi successivi si spostano.
2. Un formato di data passa da MM/GG a GG/MM, e metà delle righe finisce nel mese sbagliato.
3. Un join a monte perde righe, e un totale cala del 3% senza alcun errore.

In tutti e tre i casi il caricamento riesce. Nessun errore, nessun allarme, nessuna spia rossa. Nessuno ha detto alla pipeline cosa è "corretto", quindi non ha nulla con cui confrontare.

Il design che lo ferma

La soluzione non è più eroismo. Il rimedio non è spettacolare. È struttura:

• Un contratto dati in ingresso. Descrivi la forma attesa: colonne, tipi, intervalli. Quando la fonte cambia, il contratto fallisce per primo, e in modo evidente, prima che il dato sbagliato si propaghi.
• Livelli separati. Tieni ingestione, validazione e trasformazione distinte, per intercettare il problema dove appare invece che dentro il report.
• Una quarantena. Le righe che rompono le regole vengono trattenute e segnalate, non scartate in silenzio né lasciate passare. Le righe buone arrivano al report; quelle cattive restano visibili per la revisione.

È questa la differenza tra una pipeline che fallisce in modo sicuro e una che fallisce in silenzio. Nei miei progetti la costruisco sempre così. Nella finanza un numero sbagliato non è mai astratto: ha un costo reale e visibile che prima o poi qualcuno deve spiegare.