Progettazione e valutazione di interfacce dinamiche basate su LLM per task di troubleshooting fisico

In questo elaborato viene presentato DynamicAI, un prototipo per la generazione dinamica di interfacce utente basate su Large Language Models e Vision-Language Models, applicato a scenari di troubleshooting fisico. Il sistema esplora un modello di interazione diverso dalla chat tradizionale, in cui l'output del modello non è una semplice risposta testuale, ma una struttura utilizzabile per costruire un'interfaccia guidata e interattiva. L'approccio proposto si basa sulla separazione tra interpretazione del problema, rappresentazione dell'interfaccia e rendering grafico. A partire da un input iniziale, il modello produce una descrizione strutturata della UI, che viene poi interpretata dal frontend attraverso una libreria controllata di componenti. Questa scelta permette di mantenere più stabile e verificabile il comportamento del sistema, evitando la generazione diretta di codice frontend. Inoltre, il prototipo integra un processo di refinement che consente di aggiornare l'interfaccia in base al feedback dell'utente, rendendo la procedura modificabile durante l'esecuzione del task. La valutazione è stata condotta su scenari rappresentativi di troubleshooting fisico, considerando la correttezza strutturale degli output, l'utilità funzionale delle interfacce generate, il contributo del refinement e alcune limitazioni pratiche legate alle prestazioni e all'affidabilità dell'integrazione con modelli esterni. I risultati mostrano che l'approccio è in grado di produrre interfacce generalmente utili e che il refinement contribuisce a migliorarne la coerenza rispetto allo scenario, pur evidenziando limiti legati alla variabilità dei modelli e ai tempi di risposta.