Deep Question Answering: A New Teacher For DistilBERT

Durante questo lavoro di tesi sono stati sperimentati i benefici ottenibili dalle modifiche al solo livello di question answering del modello BERT e di un suo derivato, DistilBERT. Gli esperimenti sono stati condotti su due dataset differenti, SQuAD 2 e OLP (dataset sperimentale che ha richiesto un lungo lavoro di pre-processing perché fosse compatibile con il formato di SQuAD). Il preprocessing del dataset ha portato ad ottenere, appunto, la stessa struttura di SQuAD ed ha permesso di risparmiare tempo perché si è riusciti ad utilizzare lo stesso script di parsing utilizzato per SQuAD. L'idea di utilizzare una struttura a 4 livelli con uno step di skip per il livello di QA invece deriva da un lavoro di ricerca e testando diversi approcci fino a concludere che, quello utilizzato in questa tesi, permetteva di ottenere risultati migliori rispetto agli altri.