Benchmarking e Prompt Tuning di Large Language Model per la Generazione di Codice

Questo lavoro esplora le capacità di generazione di codice Java avanzato da parte degli attuali modelli generativi di intelligenza artificiale open source, con un focus particolare sul contesto accademico universitario. Attraverso la valutazione di tre Large Language Model (LLM) – Deepseek-Coder, Mistral e CodeLlama – questo studio introduce un nuovo benchmark derivato da compiti di programmazione avanzati richiesti a studenti laureandi. I risultati indicano che, nonostante le generali buone prestazioni, vi è un ampio margine di miglioramento, soprattutto per quanto riguarda la generazione di codice che aderisce ai principi della programmazione orientata agli oggetti e nell'uso efficace degli stream di Java. È stata inoltre studiata la tecnica del prompt tuning, rivelatasi un fattore chiave per aumentare la versatilità dei modelli. Questo lavoro suggerisce nuove prospettive per la ricerca futura, sottolineando il potenziale dell'intelligenza artificiale nel semplificare lo sviluppo software.