Strumento di mechanistic interpretability per modelli linguistici basati su Transformer

I modelli di machine learning basati sull'architettura Transformer rivestono un ruolo di ampio rilievo nel panorama attuale, in particolare per quanto riguarda l’elaborazione del linguaggio naturale (NLP). Si tratta di modelli estremamente potenti, tuttavia carenti nell’interpretabilità. Risulta socialmente necessario l’utilizzo di sistemi sicuri, affidabili e trasparenti. Tale obiettivo richiede una comprensione esaustiva del relativo funzionamento interno, rendendo un imperativo cruciale fare luce sui processi decisionali da cui sono guidati. Questo lavoro si inserisce nell'ambito della ricerca in mechanistic interpretability, di cui si illustrano tecniche e un possibile flusso di lavoro. Si presenta un framework matematico, per descrivere a livello teorico la struttura e il funzionamento dei modelli linguistici basati su Transformer, e la sua implementazione nella libreria TransformerLens, che consente l’analisi di tali modelli secondo un approccio di mechanistic interpretability.