Smart Glasses as a Sensor Fusion Platform for Acquisition and Processing of ExG and Image Data

L'interazione con oggetti tramite l'analisi dei movimenti delle mani è una importante sfida nel campo delle interfacce uomo-macchina (HMI). Sebbene l'attività elettrica muscolare sia comunemente utilizzata in questo campo, le immagini e i movimenti degli occhi forniscono importanti indicazioni sull'intenzione di una persona nell'esecuzione di gesti. Gli smart glasses offrono una piattaforma promettente per la cattura di elettrooculogrammi (EOG) e immagini. Possono anche fungere da gateway di integrazione per una Body Area Network, collegandosi ad altri biosensori come, ad esempio, un dispositivo per l'elettromiografia (EMG). Questa tesi si propone di sviluppare un prototipo di sistema composto da smart glasses con sensori EOG, una scheda di acquisizione immagini e un dispositivo EMG. La prima parte della tesi consiste nel determinare il posizionamento ottimale dei sensori EOG sugli occhiali per garantire una corretta acquisizione del segnale rispetto ai metodi tradizionali a base di gel. Per tale scopo, è stato sviluppato un prototipo di occhiali costituito da elettrodi asciutti di Dätwyler, interfacciati con la piattaforma BioGAP. Uno studio esplorativo, basato sulla classificazione di 9 movimenti oculari, in cui è stato confrontato questo prototipo con una configurazione EOG convenzionale, ha mostrato una promettente accuratezza del 95% contro il 96% della configurazione tradizionale. Nella seconda parte della tesi, si impiega la piattaforma GAP9 Shield, dotata di una piccola camera e di un modulo Wi-Fi per l'invio delle immagini. Si procede a stabilire una connessione con BioGAP, assicurando un flusso di comunicazione sincronizzato con un ritardo medio di 120 ms, paragonabile al periodo di frame di 166 ms. Infine, un modello CNN MobileNet V2 è stato adattato per la classificazione binaria di immagini di mano aperta e chiusa, ottenendo un'accuratezza del 97%. Questa tesi di laurea magistrale è stata parzialmente condotta presso l'ETH di Zurigo.