Un modello termodinamico per l'architettura Transformer

Negli ultimi anni, i grandi modelli di linguaggio hanno reso centrale il problema di comprendere e interpretare l'architettura Transformer, che ne costituisce uno degli elementi fondamentali. Lo scopo di questa tesi è studiare se, anche nel caso del Transformer, sia possibile individuare un legame tra una grandezza di ispirazione termodinamica, la temperatura, e il ruolo funzionale di alcune componenti del modello. A tal fine, è stato implementato e addestrato un Transformer per la traduzione automatica dall'inglese all'italiano su un sottoinsieme del dataset OPUS-100. L'analisi si è concentrata sulle attention head del meccanismo di cross-attention del decoder. A ciascuna head è stata assegnata una temperatura di equilibrio, definita a partire dal gradiente della funzione costo nell'ultima fase dell'addestramento. Successivamente, le head sono state ordinate in base alla loro temperatura e sottoposte ad ablazione, al fine di valutarne l'impatto sulle prestazioni del modello tramite la validation loss. Il risultato principale ottenuto è la presenza di una correlazione tra la temperatura delle head ed il layer di appartenenza: le head dei primi layer del decoder risultano sistematicamente più calde di quelle dei layer successivi. Gli esperimenti di ablazione mostrano inoltre che la rimozione delle head più calde produce un peggioramento maggiore della loss rispetto alla rimozione delle head più fredde. Tuttavia, poiché la temperatura risulta fortemente correlata al layer di appartenenza, non è possibile attribuire in maniera univoca l'effetto osservato alla sola temperatura. Il lavoro si conclude quindi con una discussione critica dei limiti metodologici dell'analisi e dei possibili sviluppi successivi.