Migliorare la Named Entity Recognition zero-shot attraverso l’utilizzo di descrizioni delle entità: un caso studio in dominio biomedico

Nel Natural Language Processing l'attività nota come Named Entity Recognition (NER) consiste nell'identificare e classificare, ossia annotare, porzioni di testo all'interno di documenti in base a un set di etichette predefinite, note come Entità. Ottenere annotazioni di questo tipo nel mondo reale è complesso e la generalizzazione verso entità non precedentemente viste rappresenta una sfida significativa. In tale contesto, l'apprendimento zero-shot (Picco et al., 2023; Xian et al., 2020) diventa essenziale per compensare l'assenza di istanze di addestramento. Tuttavia, per ottenere risultati significativi, è necessario disporre di ampie conoscenze pregresse, soprattutto in scenari specifici di dominio. Sebbene i Large Language Model (LLM) abbiano un grande potenziale, il loro costo computazionale e inefficienza ne limitano fortemente l'applicabilità, favorendo l'utilizzo di reti neurali più piccole e specializzate. In questo lavoro proponiamo una metodologia che integra descrizioni testuali delle entità direttamente nel processo di riconoscimento, con l'obiettivo di migliorare le performance dell'apprendimento zero-shot. Questo approccio consente a language model pre-addestrabili con risorse limitate, come BERT (Devlin et al., 2019), con dimensioni inferiori di diversi ordini di grandezza rispetto ai LLM, di sfruttare informazioni semantiche dettagliate sulle entità target, migliorando la loro capacità di generalizzare a nuovi contesti. Questa tesi ha sviluppato una nuova soluzione NER per il dominio biomedico nel quale persistono i limiti sopra menzionati, come si evince in lavori di Yu (Yin et al., 2024) e Wang (Wang et al., 2018). Gli esperimenti condotti dimostrano che la soluzione ha superato lo stato dell'arte in diversi benchmark, battendo anche modelli come GPT-4 e LLM addestrati per NER, dimostrando l'efficacia nell'uso delle descrizioni delle entità nel contesto della NER zero-shot.