Valutazione delle prestazioni del Model Splitting su dispositivi ESP32 in Reti IoT Multi-Hop

I recenti sviluppi nel model splitting e nella split inference mostrano come l’esecuzione distribuita di reti neurali su più dispositivi possa estendere le capacità dell’intelligenza artificiale verso nodi edge fortemente vincolati in termini di memoria e potenza di calcolo, evidenziando al contempo nuove criticità legate alla scelta dei punti di taglio, al costo di comunicazione tra nodi e alla gestione delle risorse hardware. In questo contesto, la tesi progetta, implementa e valuta sperimentalmente una pipeline di inferenza distribuita su una catena di microcontrollori ESP32-S3, in cui ciascun nodo esegue una porzione del modello MobileNetV2 quantizzato a int8 e inoltra il tensore intermedio al nodo successivo tramite TCP. Il firmware, sviluppato in ESP-IDF con supporto Arduino e basato su TensorFlow Lite for Microcontrollers, adotta un’architettura single-threaded sequenziale e una Tensor Arena ibrida tra PSRAM esterna e SRAM interna, mentre un coordinatore Python esterno orchestra il caricamento dei segmenti di modello, l’invio dell’input e la raccolta delle metriche di latenza ed energia. Le configurazioni a 2, 3 e 4 nodi sono confrontate con una baseline a singolo nodo e tra due diverse strategie di posizionamento dei punti di split, isolando il contributo del tempo di calcolo locale da quello di trasmissione di rete e modellando quest’ultimo come funzione affine della dimensione del tensore. I risultati mostrano che la suddivisione consente di ripartire il carico computazionale e l’occupazione di memoria su più dispositivi constrained, rendendo possibile l’esecuzione di modelli che risulterebbero difficilmente gestibili. Al tempo stesso però, il costo computazionale aggiuntivo introdotto dallo split resta contenuto, mentre il forwarding costituisce la componente più critica e variabile della pipeline. La scelta del punto di split quindi deve privilegiare la riduzione dei tensori intermedi scambiati, soprattutto all’aumentare dei nodi coinvolti.