Vision-Language Transformer: Retrieval ed Explainability in ambito Biomedico

All’interno di questo elaborato sono state analizzate e sperimentate recenti tecnologie di retrieval cross modale e di explainability in ambito biomedico, allo scopo di identificare una radiografia toracica partendo dal referto che ne riporta le osservazioni e/o la diagnosi e di poter "spiegare" le scelte fatte dal modello implementato evidenziando le parti del referto e della radiografia più rilevanti. La soluzione sviluppata sfrutta un modello di tipo Vision-Language Transformer addestrato, per prima cosa, a riconoscere la pertinenza di un referto rispetto ad una data radiografia toracica, raggiungendo un'accuratezza dell'87%; successivamente, lo stesso modello è stato applicato, utilizzando tecniche di deep metric learning, ad un problema di retrieval cross-modale da testo a immagine e viceversa raggiungendo il 37% di precisione nel restituire la risposta corretta come primo risultato su un insieme di 100 documenti candidati (il 74% sui primi cinque e l'89% sui primi dieci). Per quanto riguarda la parte di explainability, sono state applicate tecniche note in letteratura che hanno prodotto risultati interessanti, permettendo in alcuni casi di fornire le parole del referto o le parti di immagine più rilevanti per la rete. E' stato infine sviluppato un applicativo web che permette di effettuare un'analisi qualitativa delle capacità del modello nel task di retrieval da testo a immagine, utilizzabile all'indirizzo: https://disi-unibo-nlp.github.io/projects/radiography_retrieval/.