Aligning Large Language Models: A Study on Reinforcement Learning from Human Feedback

Il tema di questa Tesi è il Reinforcement Learning from Human Feedback applicato ai Large Language Models. Nel primo capitolo introdurremo i Language Models e il loro funzionamento, oltre ai possibili problemi che derivano dal loro utilizzo. Nel secondo capitolo tratteremo del processo dell'Alignment, utilizzato non solo per evitare i rischi associati ai Large Language Models ma anche e soprattutto per "istruirli" ad essere utili. Approfondiremo l'area del Learning from Feedback per arrivare al Reinforcement Learning from Human Feedback (RLHF). Analizzeremo alla fine del capitolo le tre fasi in cui si suddivide: Supervised Fine-Tuning, Reward Modeling e Policy Optimization. Nel terzo capitolo faremo l'esempio specifico di InstructGPT, il risultato del RLHF sul modello GPT-3, e introdurremo il SafeRLHF che cerca di bilanciare utilità e sicurezza nei modelli istruiti. Infine, nel quarto capitolo, vedremo il tentativo di applicare il processo del Supervised Fine-Tuning al modello Llama-3.1-8b per istruirlo a rispondere a domande di matematica.