Deep Question Answering: A New Teacher For DistilBERT

Preite, Simone (2020) Deep Question Answering: A New Teacher For DistilBERT. [Laurea magistrale], Università di Bologna, Corso di Studio in Informatica [LM-DM270]
Documenti full-text disponibili:
[img] Documento PDF (Thesis)
Disponibile con Licenza: Creative Commons: Attribuzione - Non commerciale - Condividi allo stesso modo 3.0 (CC BY-NC-SA 3.0)

Download (4MB)

Abstract

Durante questo lavoro di tesi sono stati sperimentati i benefici ottenibili dalle modifiche al solo livello di question answering del modello BERT e di un suo derivato, DistilBERT. Gli esperimenti sono stati condotti su due dataset differenti, SQuAD 2 e OLP (dataset sperimentale che ha richiesto un lungo lavoro di pre-processing perché fosse compatibile con il formato di SQuAD). Il preprocessing del dataset ha portato ad ottenere, appunto, la stessa struttura di SQuAD ed ha permesso di risparmiare tempo perché si è riusciti ad utilizzare lo stesso script di parsing utilizzato per SQuAD. L'idea di utilizzare una struttura a 4 livelli con uno step di skip per il livello di QA invece deriva da un lavoro di ricerca e testando diversi approcci fino a concludere che, quello utilizzato in questa tesi, permetteva di ottenere risultati migliori rispetto agli altri.

Abstract
Tipologia del documento
Tesi di laurea (Laurea magistrale)
Autore della tesi
Preite, Simone
Relatore della tesi
Correlatore della tesi
Scuola
Corso di studio
Indirizzo
Curriculum C: Sistemi e reti
Ordinamento Cds
DM270
Parole chiave
NLP,Question Answering,QA,BERT,Deep Learning,SQuAD,RNN,Transformers,Neural Networks,DistilBERT
Data di discussione della Tesi
19 Marzo 2020
URI

Altri metadati

Statistica sui download

Gestione del documento: Visualizza il documento

^