A thermodynamic modeling of transformers

In questo lavoro diamo una breve introduzione all’algoritmo di deep learning, illustrando dapprima i concetti fondamentali delle reti neurali—la loro architettura a strati, il processo di ottimizzazione tramite discesa del gradiente e le principali strategie di regolarizzazione—per poi concentrarci sull’architettura Transformer e sul meccanismo di attenzione che ne costituisce il nucleo. Seguendo un’analogia termodinamica, definiamo una temperatura di equilibrio basata sulla norma del gradiente della loss, interpretando i parametri del modello come particelle di un sistema fisico all’equilibrio. Applichiamo questa definizione a un Transformer encoder-decoder addestrato per la traduzione inglese-italiano, calcolando la temperatura delle singole head di attenzione nelle matrici dei pesi di ciascun layer. I risultati mostrano un chiaro andamento decrescente della temperatura con la profondità del layer, che rende difficile isolare l’effetto della temperatura da quello della profondità stessa negli esperimenti di pruning. Confrontando le prestazioni del modello dopo la rimozione delle head più calde e più fredde emergono risultati non conclusivi, ma consistenti con la letteratura.