Il full-text non è disponibile per scelta dell'autore.
(
Contatta l'autore)
Abstract
Negli ultimi anni, si è prestata sempre più attenzione da parte della comunità scientifica alla risoluzione di uno dei problemi principali del Natural Language Generation (NLG), in particolare nel task di summarization: la presenza nel risultato prodotto di informazioni errate o fittizie rispetto al testo di partenza, noto come "Hallucination". Le strategie tradizionali utilizzate da NLG hanno raggiunto un buon compromesso tra prestazioni e qualità del risultato prodotto. Tuttavia, tali strategie falliscono sotto l’aspetto della fattualità in quanto quest’ultima non viene valutata durante il processo di generazione. Per affrontare questo problema, proponiamo una nuova strategia di decoding chiamata Sentence-Level Faithful Greedy Search. Questa tecnica mira ad aumentare la fedeltà del riassunto rispetto ad uno o più documenti di partenza, e a ridurre al minimo il numero di Hallucination, attraverso l’utilizzo congiunto di diverse beam search e dei grafi AMR per la valutazione della fattualità del risultato durante il processo di generazione. Infine per valutare l’efficacia della nostra strategia di decoding, abbiamo condotto degli esperimenti su 100 campioni casuali appartenenti al dataset XSUM, confrontando successivamente i risultati ottenuti con quelli acquisiti
tramite Greedy Search, una strategia di decoding tradizionale. I risultati degli esperimenti mostrano che la nostra strategia ha portato ad un miglioramento della fattualità del testo in circa il 35% dei casi.
Abstract
Negli ultimi anni, si è prestata sempre più attenzione da parte della comunità scientifica alla risoluzione di uno dei problemi principali del Natural Language Generation (NLG), in particolare nel task di summarization: la presenza nel risultato prodotto di informazioni errate o fittizie rispetto al testo di partenza, noto come "Hallucination". Le strategie tradizionali utilizzate da NLG hanno raggiunto un buon compromesso tra prestazioni e qualità del risultato prodotto. Tuttavia, tali strategie falliscono sotto l’aspetto della fattualità in quanto quest’ultima non viene valutata durante il processo di generazione. Per affrontare questo problema, proponiamo una nuova strategia di decoding chiamata Sentence-Level Faithful Greedy Search. Questa tecnica mira ad aumentare la fedeltà del riassunto rispetto ad uno o più documenti di partenza, e a ridurre al minimo il numero di Hallucination, attraverso l’utilizzo congiunto di diverse beam search e dei grafi AMR per la valutazione della fattualità del risultato durante il processo di generazione. Infine per valutare l’efficacia della nostra strategia di decoding, abbiamo condotto degli esperimenti su 100 campioni casuali appartenenti al dataset XSUM, confrontando successivamente i risultati ottenuti con quelli acquisiti
tramite Greedy Search, una strategia di decoding tradizionale. I risultati degli esperimenti mostrano che la nostra strategia ha portato ad un miglioramento della fattualità del testo in circa il 35% dei casi.
Tipologia del documento
Tesi di laurea
(Laurea)
Autore della tesi
Grandi, Luca
Relatore della tesi
Correlatore della tesi
Scuola
Corso di studio
Ordinamento Cds
DM270
Parole chiave
Natural Language Processing,Natural Language Generation,Abstractive Summarization,Abstract Meaning Representation,Factuality
Data di discussione della Tesi
17 Marzo 2023
URI
Altri metadati
Tipologia del documento
Tesi di laurea
(NON SPECIFICATO)
Autore della tesi
Grandi, Luca
Relatore della tesi
Correlatore della tesi
Scuola
Corso di studio
Ordinamento Cds
DM270
Parole chiave
Natural Language Processing,Natural Language Generation,Abstractive Summarization,Abstract Meaning Representation,Factuality
Data di discussione della Tesi
17 Marzo 2023
URI
Gestione del documento: