Evoluzione e Apprendimento per Rinforzo: Un Approccio Integrato per Agenti Autonomi in Contesti Videoludici

I videogiochi, ambienti dinamici che richiedono di effettuare scelte in rapida successione, rappresentano un ottimo banco di prova per la valutazione dei sistemi di controllo autonomi. Particolarmente adatto in tale contesto è il Deep Reinforcement Learning, variante dell'Apprendimento per Rinforzo basato su Reti Neurali Profonde per la modellazione della conoscenza appresa. La capacità di adattamento a sistemi ad alta dimensionalità propria delle Reti Neurali Profonde viene però pagata al prezzo di un elevato costo computazionale e della necessità di definire numerosi parametri per la regolazione del processo di apprendimento. Si propone quindi un approccio combinato per il controllo di agenti di gioco autonomi, basato su Deep Reinforcement Learning per l'addestramento dei singoli individui e su un Algoritmo Genetico per ottimizzare i parametri dell'algoritmo di apprendimento. I due algoritmi sono poi direttamente integrati all'interno del mondo di gioco in cui agiscono, con l'obiettivo di misurarne il costo computazionale e valutare se possa essere fattibile integrare modelli analoghi all'interno di sistemi di gioco commerciali. Sebbene non particolarmente efficace dal punto di vita del costo computazionale—su un laptop da gioco di media fascia si misurano mediamente circa 13.25 Frame al Secondo, producendo quindi un flusso di gioco "scattoso'' e poco piacevole—il modello combinato proposto si dimostra particolarmente efficace nell'ottimizzazione dei valori dei parametri e, di conseguenza, delle prestazioni dell'algoritmo di apprendimento, permettendo agli agenti di estendere il proprio tempo di vita mediamente fino a circa il 237% rispetto all'aspettativa derivata dall'analisi delle loro caratteristiche genetiche.