Sviluppo di un sistema di visione per il monitoraggio dell'operatore in un applicazione di robotica collaborativa

In questa tesi è stato sviluppato un sistema di monitoraggio dello sguardo dell’operatore e del suo stato di affaticamento mentale con l’obiettivo di migliorare la sua sicurezza durante un’operazione collaborativa con il robot Franka Emika Panda. Si è utilizzato il sistema eye tracker indossabile di Neon per ottenere informazioni sull’ambiente esterno e sul punto in cui l’operatore indirizzava lo sguardo rispetto alla scena. Con queste informazioni è stata creata una LAOI (live area of interest) attorno all’end effector del robot Franka in cui lo sguardo dell’operatore deve risiedere per lavorare in sicurezza e sono state estratte delle metriche oculari promettenti per la stima dell’affaticamento mentale. In questo lavoro è stato studiato lo stato dell’arte per individuare la strategia idonea alla creazione della LAOI e selezionare le metriche oculari adatte. È stato sviluppato il sistema di monitoraggio in tempo reale in python e si sono poste le basi per la creazione e la validazione di un modello di stima della fatica da feeature oculari.