Web Scraping e LLM: Confronto di metodologie per l’estrazione di dati non strutturati da fonti eterogenee tramite Large Language Model

Il web scraping tradizionale, basato su regole sintattiche, è intrinsecamente fragile alle modifiche strutturali dei siti web. I Large Language Model (LLM) offrono un cambio di paradigma: descrivere alla macchina "cosa" estrarre anziché "come" trovarlo. L'IA generativa introduce però nuove sfide: costi operativi, latenza e allucinazioni. Questa dissertazione analizza tali trade-off tramite SWEET (Semantic Web Extraction & Evaluation Tool), un framework di benchmark sviluppato ad hoc e testato su un caso reale (avvisi di sciopero). Si valutano accuratezza (F1-score) ed efficienza confrontando modelli (GPT, Gemini, Llama, DeepSeek), schemi di validazione e preprocessing, dalle euristiche classiche ai recenti Small Language Model (SLM). I risultati mostrano che l'uso degli SLM per il preprocessing garantisce un'elevata compressione del documento, ma rischia di omettere metadati rilevanti. Su fonti semi-strutturate a struttura relativamente stabile prevale un approccio ibrido: pre-filtrare il DOM deterministicamente riduce i token in input del 99,5%, mantenendo un F1-score oltre 0,95. Sul fronte della validazione dei dati, alleggerire il carico cognitivo dell'IA richiedendo un output flessibile, normalizzato a valle via codice, riduce le allucinazioni fino al 45%. Infine, test di mutazione del DOM ("DOM chaos") confermano l'immunità strutturale degli LLM davanti al collasso degli scraper classici. L'evidenza sperimentale dimostra che i modelli generativi non costituiscono una soluzione universale, ma impongono un nuovo trade-off architetturale: l'azzeramento del debito tecnico manutentivo avviene al prezzo di maggiori latenze, costi di inferenza e del nuovo rischio delle allucinazioni, che sostituiscono il fallimento esplicito (fail-fast) degli scraper tradizionali con errori subdoli e silenziosi. L'uso degli LLM non elimina il software classico, ma trasforma il web scraping da una fragile ingegneria sintattica a una robusta orchestrazione semantica.