Analisi e sviluppo di modelli per la classificazione di immagini in contesto open set nell’ambito di dispositivi embedded

L’obiettivo del mio progetto di tesi era quello di aggiungere una funzionalità all’interno del sensore di visione intelligente Smart-VS. Questo dispositivo è in grado di classificare l’oggetto in due classi, Good e No Good, sulla base del set di esempi forniti in fase di training, in ambito industriale è però difficile ottenere un set di campioni che comprenda tutte le situazioni possibili che potrebbero verificarsi. Lo scopo di questo progetto era perciò quello di progettare e implementare dei modelli che fossero in grado di rilevare la presenza di oggetti mai visti prima (Open set). La fase iniziale si è focalizzata sulla scelta dell’estrattore di features delle immagini. Alla fine, si sono utilizzati un descrittore di features ingegnerizzate e la VGG-16 pre-addestrata sul database ImageNet. La prima strategia è stata quella di creare un modello in grado di effettuare una tradizionale classificazione binaria per oggetti Good e No Good e inserire la fase di riconoscimento dell’Open set nella fase di inferenza. La seconda strategia si è focalizzata sull’utilizzo di modelli di Deep Metric Learning che sono in grado di imparare una trasformazione dallo spazio immagine allo spazio delle features, attribuendo alla distanza una misura di similarità semantica tra gli oggetti. In questo modo le classi Good e No Good risulteranno compatte mentre gli oggetti Open, semanticamente diversi, si troveranno lontani. Entrambe le strategie hanno prodotto risultati soddisfacenti, in particolare, nella prima categoria è stata creata una CNN che utilizza le features estratte dalla VGG-16 per eseguire il training per la classificazione binaria e che poi impiega il Classificatore con Processo Gaussiano per identificare gli oggetti Open che raggiunge un livello di accuracy sulle 3 classi del 99,44%. Mentre nella seconda categoria tra i modelli implementati il più performante è risultato essere la Rete Neurale Siamese con le features della VGG-16 che ottiene un accuracy del 99,3