Llama 3.2 e 3.3 nel contesto della traduzione nelle istituzioni dell’Unione europea: task di automatic post-editing ed error recognition

Tra i fondamenti principali dell'Unione europea spicca il multilinguismo, garantito dalla Direzione generale della Traduzione che assicura l'accessibilità dei documenti ufficiali e delle comunicazioni in tutte le lingue degli Stati membri. L'innovazione delle tecnologie linguistiche e in particolare gli avanzamenti nelle capacità traduttive dei Large Language Models aprono nuove prospettive a supporto dell'efficienza nei processi traduttivi. Questa tesi analizza il contributo dei LLM Llama 3.2 e 3.3 a supporto della fase di revisione, in particolare attraverso task di automatic post-editing ed error recognition. I due modelli sono stati testati su un dataset costituito da singole frasi contenenti errori di diverse tipologie e valutati in base alla qualità delle correzioni, la coerenza del reasoning e la capacità di attenersi a specifiche linee guida stilistiche e terminologiche. Inoltre, sono state sperimentate variazioni linguistiche e nel livello di dettaglio dei prompt utilizzati. Llama 3.3 ha presentato costanti miglioramenti rispetto alla versione precedente, dimostrando maggiore accuratezza nella risoluzione e identificazione degli errori. Tuttavia, le performance dei modelli variano a seconda della tipologia di errore e presentano problematiche come fenomeni di allucinazione e incoerenze nel reasoning. Questa tesi rappresenta un contributo alla ricerca sulle tecniche di automatic post-editing attraverso i LLM evidenziandone il potenziale applicativo nel contesto istituzionale e la necessità di perfezionamento delle tecniche di prompting e fine-tuning al fine di raggiungere gli standard qualitativi richiesti e minimizzare interferenze e imprecisioni.