Valutazione della capacità dei large language model di simulare vari livelli di abilità

Negli ultimi anni abbiamo potuto assistere all'avvento dei Large Language Model (LLM) come ChatGPT di OpenAI o Claude di Anthropic. Questi modelli sono in grado di svolgere svariate attività ricevendo come input delle istruzioni in linguaggio naturale. In particolare, questi modelli sono anche in grado, seppur in maniera limitata, di giocare a vari giochi di scacchiera, come il tris o gli scacchi. In questa tesi, propongo un metodo per valutare se questi modelli sono in grado di variare la propria abilità in questo genere di giochi, creando istruzioni che specificano il livello di abilità desiderato e sottoponendo i modelli, con queste istruzioni, a una serie di posizioni del gioco del tris generate casualmente. I risultati ottenuti mostrano che i modelli sono in grado di variare la propria abilità in base alle istruzioni ricevute, anche se con risultati non sempre coerenti con le aspettative.