Tecniche di Prompting di Large Language Model per il Word Sense Disambiguation

Il Word Sense Disambiguation (WSD) rappresenta una sfida cruciale nel Natural Language Processing, volta a determinare il significato corretto di una parola target in base al contesto. Con l’avvento dei Large Language Models il panorama del WSD è stato completamente rivoluzionato, ma il loro impiego in quest’ambito rimane ancora complesso, richiedendo specifiche e onerose fasi di fine-tuning su corpora annotati. Questo studio analizza le capacità di disambiguazione di LLMs open-source della famiglia LLaMA, sfruttando esclusivamente tecniche di Prompt Inference. L’obiettivo è valutare come LLMs di piccole dimensioni riescano a interpretare e distinguere i diversi significati delle parole attraverso prompt accuratamente progettati. Partendo dal Zero- Shot prompting, vengono introdotti progressivamente approcci più sofisticati, inducendo i modelli a ragionamenti sempre più espliciti. Per parole di difficile disambiguazione, per via di molteplici significati possibili, viene adottato il CoT-Verified prompting, un metodo in cui il modello riesamina le proprie previsioni. Dopo una prima analisi con CoT prompting, le parole associate a previsioni errate vengono riconsiderate attraverso un prompt di verifica che ne richiede la conferma o la correzione. I prompt più efficaci sono stati testati sui dataset che compongono il Unified Evaluation Framework, benchmark di riferimento nella valutazione dei sistemi di WSD. I risultati dimostrano come anche LLM di dimensioni ridotte possano ottenere prestazioni competitive, superando alcuni dei modelli che compongono l’attuale stato dell’arte nel Word Sense Disambiguation.