Modernizzazione di una piattaforma ETL Spark-based tramite tecnologie Transactional Lakehouse su AWS

La tesi analizza la modernizzazione di una piattaforma ETL basata su Apache Spark e AWS Glue, precedentemente vincolata a un'architettura Data Lake tradizionale basata sul formato Parquet. L'obiettivo centrale del lavoro è l'introduzione del paradigma Transactional Lakehouse tramite l'adozione di Apache Iceberg. L'introduzione di questo table format ha permesso di abilitare proprietà ACID, funzionalità di time travel e una gestione avanzata dei metadati. Nel corso del lavoro di tesi svolto presso l'azienda Prometeia, è stato progettato e implementato un prototipo in grado di gestire pipeline complesse su dataset di grandi dimensioni, includendo una strategia automatizzata per la sincronizzazione del catalogo e dei metadati. La soluzione proposta viene quindi confrontata con l'architettura esistente per valutarne gli effetti in termini di prestazioni, scalabilità e robustezza operativa, evidenziando vantaggi e limiti delle tecnologie lakehouse nel contesto di pipeline ETL in ambiente cloud.