Afferraggio e manipolazione di un oggetto virtuale generico tramite tecniche di apprendimento per rinforzo

L’apprendimento con rinforzo (in inglese reinforcement learing) è una metodologia con la quale si insegna a un’intelligenza artificiale ad eseguire un compito tramite un gran numero di ripetizioni finché non si raggiunge una buona performance. L’idea di base è sfruttare il risultato ottenuto in ogni tentativo per indirizzare l’IA a completare positivamente il task preso in esame. Il grande vantaggio che si aspira ad ottenere con il reinforcement learning è la flessibilità del sistema ottenuto a fine allenamento. D’altra parte, l’aspetto negativo dell’approccio descritto è la necessità di eseguire molte iterazioni, decine o centinaia di migliaia, per raggiungere un risultato soddisfacente e capace di risolvere il problema scelto. Una soluzione a tale svantaggio è eseguire il training dell’agente (entità che esegue le azioni) in ambiente virtuale simulato al PC, ciò permette di svolgere tutte le iterazioni necessarie a velocità estremamente elevate accorciando i tempi e costi di sviluppo. Il progetto, oggetto di tesi, vuole utilizzare tecniche di reinforcement learning per insegnare a un robot manipolatore ad afferrare un oggetto in ambiente virtuale. La tesi è un progetto di primo approccio all’argomento e vede come obiettivo principale capire quali siano i punti di forza di tale metodologia e individuare le criticità nella realizzazione dell’infrastruttura software necessaria. Il sistema di afferraggio del robot scelto è, da specifica, una ventosa data la sua ampia gamma di applicazioni industriali. Dato che non sono disponibili modelli già implementati online, si è definito e creato un modello virtuale ad hoc che ne rappresenti il funzionamento in ambiente simulato. Il problema presentato è ampio e complesso, perciò nell’ambito di questa tesi è stato semplificato per renderlo fattibile nei tempi previsti, in particolare ci si limita all’uso di parallelepipedi come oggetti target di afferraggio e a movimenti cartesiani del robot.