Valutazione delle IA generative nella risoluzione di esercizi di Algoritmi e Strutture Dati

La pervasiva presenza dei Large Language Models (LLM) in vari contesti ha sollevato interrogativi sulle loro reali capacità. Questa tesi analizza le prestazioni di quattro modelli di intelligenza artificiale generativa (Gemini, GPT-OSS, DeepSeek, Grok) nel dominio di un dataset inedito ed italiano, composto da 34 compiti del corso di Algoritmi e Strutture Dati dell'Università di Bologna, esaminandoli in un duplice ruolo: come risolutori di compiti e come valutatori di quelli svolti dagli altri modelli (paradigma LLM-as-a-Judge). I risultati sperimentali evidenziano una netta asimmetria prestazionale. Mentre in fase di esecuzione i modelli dimostrano notevoli capacità di problem-solving e risoluzione algoritmica, in veste di giudici emergono criticità notevoli. Le IA analizzate falliscono mediamente nell'assegnazione consistente di valutazioni intermedie (voto 1, parziale). Non riuscendo a quantificare l'intento dietro l'errore della soluzione, ripiegano spesso su logiche di giudizio binarie (voto 0 o 2). L'analisi rileva inoltre forti distorsioni sistemiche, tra cui un deciso "leniency bias" ("bias di clemenza") per i modelli minori e di criticità tecniche in alcune loro architetture. Infine, l'esame disaggregato delle metriche di valutazione smentisce l'esistenza di un valutatore universale, dimostrando le specializzazioni di ognuno: architetture dotate di capacità avanzate di code reasoning si esprimono al meglio nella valutazione di esercizi di Coding, mentre modelli orientati al ragionamento risultano leggermente superiori nella verifica di dimostrazioni logico-matematiche, come per gli esercizi di Analisi Asintotica. Alla luce di tali problematiche, si conclude che l'automazione della valutazione didattica tramite un modello sia fortemente sconsigliata, suggerendolo al più come un supporto nella correzione.