End-to-End Deployment and Optimization of Mamba State-Space Model on PULP Clusters

Gli State Space Models (SSM) elaborano sequenze lunghe con un costo lineare rispetto alla loro lunghezza e uno stato latente di dimensione costante. Mamba introduce parametri dipendenti dall’input, mantenendo queste proprietà e risultando adatto a dispositivi edge con risorse limitate. Questa tesi sviluppa un flusso compiler-driven per il deployment end-to-end e l’ottimizzazione di un modello Mamba completo su microcontrollori multicore PULP mediante Deeploy. Il target principale è GAP9; Siracusa è impiegata per valutare la portabilità. Il modello di riferimento è FEMBA, una rete Mamba bidirezionale W8A8 per la classificazione di segnali EEG. Per eseguire l’intero modello, il supporto di Deeploy viene esteso a livello di grafo, tiling e kernel. Il contributo principale riguarda la SelectiveScan: lo stato ricorrente viene preservato tra i tile e il kernel viene parallelizzato sui core e ottimizzato. Su GAP9, l’inferenza del modello completo richiede 150,6 milioni di cicli nel simulatore cycle-accurate GVSoC, rispetto ai 629,4 milioni riportati per il deployment FEMBA originale su silicio. Il rapporto tra i cycle count è 4,18×; a 370 MHz, l’inferenza richiede circa 0,407 s per una finestra EEG di 5 s. Il flusso viene inoltre retargettato su Siracusa. Infine, viene implementata la State Space Duality (SSD) e la sua esecuzione viene confrontata con la SelectiveScan a livello di operatore.