Dalla nascita del concetto di data warehousing alla fine degli anni ‘80 del secolo scorso ad oggi, l’evoluzione dei sistemi di gestione e analisi dei dati è stata imponente e disorganica. Le novità e complessità emerse hanno interessato diverse dimensioni: l’aumento esponenziale dei dati da trattare e la loro natura, i formati e le tecniche di memorizzazione, l’evoluzione dei sistemi di analisi e l’utilizzo del machine learning, per citare i più significativi; a complicare ulteriormente il quadro la mancanza di riferimenti chiari sulla terminologia e caratteristiche in parte sovrapponibili.
Storicamente Data Warehouse prima e Data Lake poi sono stati considerati come la soluzione completa per il data management. Tuttavia, questo approccio che centralizza su una singola soluzione ha dimostrato molti limiti: fattori come la necessità di trattare dati di natura sempre più varia e distribuita, l’aumento della platea dei consumatori e la loro appartenenza a gruppi eterogenei, la necessità di rimuovere colli di bottiglia legati alla centralizzazione delle funzioni di gestione dei dati e la necessità di un approccio alla governance più flessibile hanno richiesto la ricerca di soluzioni diverse.
Un esempio significativo di come si è evoluto il data management per far fronte a tutte queste sfide è rappresentato dal data mesh. È importante chiarire che affrontare il data management in modo differente non implica come in passato la mera sostituzione di tecnologie ma la realizzazione di un sistema distribuito che utilizzi gli strumenti esistenti e li integri per un governo efficace e all’altezza delle necessità.
Prima di procedere con la discussione è utile approfondire caratteristiche e limiti di applicabilità di warehouse, lake e hub.
I Data Warehouse sono nati come sistemi specializzati per l’analisi dei dati nell’era in cui la sola tecnologia a supporto erano i database relazionali. I DW avevano lo scopo di centralizzare le informazioni provenienti dai diversi sistemi operazionali e organizzarle per renderle disponibili a sistemi di supporto alle decisioni.
Le caratteristiche principali di un DW sono:
Mentre i limiti di applicabilità riguardano:
Apache Hadoop può essere considerato il precursore dei moderni Data Lake, Il progetto open-source infatti ha introdotto la tecnologia per il processing distribuito di dati semi-strutturati e non strutturati permettendo di eseguire analisi su tipologie di dati e quantità non gestibili con i prodotti preesistenti. I Data Lake a differenza dei DW permettono di eseguire analisi sui dati nel loro formato originale e supportano un’ampia gamma di use case analitici con differenti stili di processing e approcci.
Le caratteristiche principali di un Data Lake sono:
E i limiti di applicabilità:
I Data Hub a differenza di Lake e Warehouse non sono focalizzati sull’esecuzione di analisi sui dati bensì sulla loro distribuzione e governance. È un pattern architetturale relativamente recente, infatti nell’Hype Cycle 2021 di Gartner la tecnologia ha appena superato il picco di inflated expectation con una penetrazione di mercato tra il 5% e il 20% del mercato potenziale; in questo modello produttore e consumatore dei dati aziendali sono collegati attraverso un hub, promuovendo un’efficace condivisione e governance del patrimonio informativo gestito.
Di seguito le principali caratteristiche:
E i relativi limiti di applicabilità:
Le tre architetture presentano caratteristiche distintive e un proprio ambito di applicabilità.
Data Lake e Data Warehouse supportano entrambi carichi di lavoro analitici ma con importanti differenze sulla tipologia di attività, mentre i Data Hub sono orientati alla condivisione e governance. Esistono punti di contatto e sovrapposizioni, ad esempio un DW può essere utilizzato per specifiche indagini esplorative o un Data Hub può essere utilizzato per realizzare report o attività di business intelligence; tuttavia, i confini di applicabilità e le caratteristiche fondamentali risultano chiare e a supporto di specifici use case.
In conclusione, riteniamo che nel panorama odierno del data management sia molto più efficace considerare queste architetture come complementari piuttosto che alternative, valutando l’architettura complessiva in chiave evolutiva e quindi sfruttando le caratteristiche distintive di queste tecnologie rispetto ai bisogni da soddisfare, mantenendo aggiornato il piano strategico sulla base delle necessità emergenti e riflettendo tali necessità in scelte tecnologiche. Viste sotto questa luce, infatti le tre architetture possono soddisfare le necessità in maniera sinergica per massimizzare il valore degli investimenti in quest’area.