Interpretare i Soft Prompts: Analisi delle Tecniche di Parameter-Efficient Fine-Tuning per il Biomedical NER

L’attuale panorama del Natural Language Processing è caratterizzato dalla predominanza dei Large Language Models, il cui utilizzo in domini specifici è spesso limitato dagli ingenti costi computazionali del fine-tuning. Nel settore biomedico, l'uso di Pre-Trained Launguage Models (PLMs) di tipo encoder-only, come BioBERT, rappresentano lo standard di riferimento grazie alle loro performance nei task specialistici, come il Biomedical Named Entity Recognition (BioNER). Questa tesi valuta l'efficacia di tecniche Parameter-Efficient Fine-Tuning, in particolare Prompt Tuning e Prefix Tuning, per l'addestramendo di PLMs congelati. Tale approccio riduce i parametri addestrabili a meno dello 0.1%, offrendo una significativa efficienza in termini di GPU e tempo di esecuzione, senza compromettere i risultati finali rispetto al full fine-tuning. Sperimentazioni sui dataset AnatEM, JNLPBA e BC5CDR, valutate con metriche span-based, mostrano prestazioni superiori del Prefix Tuning, che raggiunge un Micro Avg F1-Score di 0.8695 (+ 0.02 punti di differenza rispetto al full fine-tuning) con backbone BioBERT v1.1. Infine, si analizza l'interpretabilità dei token virtuali appresi: tramite proiezioni geometriche, Principal Component Analysis e t-distributed Stochastic Neighbor Embedding, e tecniche di reverse embedding nel vocabolario, si può osservare come i soft prompt acquisiscano una specializzazione funzionale nel dominio biomedico. Lo studio conferma che, anche in ambiti molto specifici, come BioNER, le tecniche di Automatic Prompt Learning rimangono una soluzione efficiente, sostenibile e scalabile.