Modelli di Deep Learning per la generazione di Linguaggio Naturale

I modelli di Deep Learning forniscono l'architettura ideale in numerose applicazioni in ambito LNP, tra cui la generazione automatica di testo, l'attività su cui si concentra questo elaborato e considerata di notevole interesse per la comunità scientifica e la grande industria. Partendo dai concetti fondamentali del Machine Learning e dalle principali famiglie di Reti Neurali, vengono introdotte le tecniche fondamentali di modellazione linguistica e infine analizzato il funzionamento dei modelli generativi più performanti: Long Short-Term Memory, GRU, GAE e le rivoluzionarie architetture Transformer, BERT e GPT-3, che oggi rappresentano lo stato dell'arte di questa attività. La fase sperimentale comprende la realizzazione di un modello linguistico a livello carattere basato su Long Short-Term Memory, in cui verranno illustrate tutte le procedure coinvolte e i risultati ottenuti, dall'organizzazione del corpus al processo di addestramento, fino alla fase generativa, in cui si compie con successo la produzione testuale in lingua italiana.