Data Mesh: decentralizzare l'ownership dei dati mantenendo una governance centralizzata attraverso l'adozione di standard di processo e di interoperabilità

Nel corso degli ultimi due decenni i progressi delle tecnologie cloud hanno consentito alle imprese di poter puntare su nuovi paradigmi implementativi per le Data Platform. Tuttavia, questi sono caratterizzati da centralizzazione e monoliticità, stretto accoppiamento tra gli stage di pipeline e da un'ownership dei dati centralizzata in team di data engineers altamente specializzati, ma lontani dal dominio. Queste caratteristiche, con l'aumentare delle sorgenti e dei consumatori dei dati, evidenziano un collo di bottiglia che rischia di pregiudicare la buona riuscita di progetti che spesso comportano grossi investimenti. Problemi simili sono stati affrontati dall'ingegneria del software con l'adozione del Domain Driven Design, con il passaggio da architetture monolitiche ad architetture orientate ai servizi e sistemi basati su microservizi, che ben si prestano ad operare in ambienti cloud. Nella tesi, svolta nel contesto aziendale di Agile Lab, viene illustrato come le stesse migliorie possano essere applicate alla progettazione delle Data Platform adottando il paradigma del Data Mesh, in cui ciascun dominio espone dati analitici attraverso i Data Product. Per dimostrare come sia possibile ridurre gli attriti nella predisposizione dell'infrastruttura di un Data Product attraverso l'adozione di standard di processo e di interoperabilità, che guidino l'interazione tra le diverse componenti all'interno della piattaforma, viene illustrata la progettazione e l'implementazione di un meccanismo di Infrastructure as Code per le risorse di observability di quest'ultimo.