Analisi comparativa delle performance di Small Language Models su dati strutturati in formato JSON e TOON

Questo elaborato si occupa dell'analisi delle performance degli Small Language Models (SLM) su dati strutturati nei formati JSON e TOON. Vengono presi in considerazione tre diversi modelli: Gemma 3 270M, Gemma 3 1B e Llama 3.2 3B, di cui si valutano le prestazioni in relazione alla tipologia di input elaborato. Lo studio prevede la creazione di un Benchmark per la generazione di dieci quesiti, che rimarranno invariati per tutti i test, e di dataset di diverse dimensioni dai quali i modelli devono estrarre le risposte. Il processo include l'interrogazione dei modelli, la valutazione della correttezza delle risposte generate e il calcolo della relativa accuratezza. Il Benchmark viene eseguito tramite simulazione Monte Carlo, metodologia che garantisce validità statistica e ripetibilità dei risultati nel tempo. Infine, vengono prodotti dei grafici per ciascun modello che mettono in relazione: accuratezza vs dimensione dataset confrontando il formato JSON con il TOON, numero di token vs dimensione dataset (considerando i due formati), e infine accuratezza vs numero di token (sempre considerando i due formati). Le conclusioni derivate dall'analisi dei grafici evidenziano le prestazioni dei modelli in rapporto alla dimensione e al formato dell'input elaborato.