Tecniche di compressione di reti neurali per dispositivi IoT

Il successo delle reti neurali moderne in diversi domini applicativi è stato accompagnato da un aumento della loro complessità e dei relativi requisiti computazionali, che ne limitano l'impiego in ambienti con risorse limitate, tra cui dispositivi IoT. La ricerca si è quindi orientata verso lo sviluppo di tecniche di compressione volte a ridurre le dimensioni dei modelli ed ottimizzare i tempi di inferenza e addestramento. In questa tesi si descrivono la sparsificazione e la quantizzazione come tecniche di compressione di reti neurali, illustrandone le basi teoriche e le applicazioni pratiche, allo scopo di valutare fino a che punto possano essere applicate in scenari reali. Dal punto di vista teorico, entrambe promettono significativi vantaggi in termini di riduzione della dimensione dei modelli e del tempo di inferenza, a fronte di un possibile degrado dell'accuratezza dipendente dal grado di compressione. Vengono descritte alcune delle principali tecnologie che ne consentono l'implementazione su dispositivi edge, insieme a casi di studio relativi all'impiego di modelli compressi in contesti applicativi reali. Le tecnologie e le applicazioni esposte mostrano l'efficacia delle tecniche nella riduzione dei requisiti computazionali spaziali e temporali, e la possibilità concreta di esecuzione di modelli ottimizzati su dispositivi con risorse vincolate. Tuttavia è sempre necessario un compromesso tra compressione ed accuratezza. Inoltre i benefici effettivi dipendono dal supporto fornito a livello software e hardware. In futuro si prevede uno sviluppo sinergico fra tecniche di compressione, supporti hardware e software, unitamente allo sviluppo di nuove architetture intrinsecamente più efficienti per favorire l'esecuzione dei modelli in ambito IoT.