Ottimizzazione di sistemi per l'inferenza scalabile: architetture per il monitoraggio intelligente e la protezione dei dati sensibili

I sistemi Backend moderni stanno seguendo un cambio di paradigma che mette al primo posto l’ottimizzazione architetturale e la riduzione della latenza dei nodi di rete coinvolti nel sistema per massimizzare il throughput. In questo documento verrà trattato nello specifico il problema dei sistemi monolitici e sequenziali che presentano dei limiti architetturali importanti nella gestione delle pipeline di processo e la comunicazione tra nodi nella rete. Verrà analizzata un’infrastruttura reale di Edge/Cloud Computing per l’elaborazione dei flussi video e l’offuscamento di dati sensibili al loro interno. Partendo dall’architettura originale limitata da operazioni di rete bloccanti e colli di bottiglia legati all’accesso su disco (I/O Bound ), il lavoro illustra una completa reingegnerizzazione del sistema. Per fornire delle caratteristiche di scalabilità e resilienza, sono stati introdotti pattern avanzati: parallelizzazione del carico tramite Batch Parallelism, integrazione di librerie AWS S3 SDK e il disaccoppiamento dei servizi tramite Message broker (RabbitMQ). Inoltre l’utilizzo di AMQP e il pattern RPC asincrono ha reso l’infrastruttura Event-Driven ad alta concorrenza. Nell’ultima parte è stato ottimizzato il modulo di Object Detection, descrivendo la transizione dal modello YOLO al modello Detectron a due stadi. È stato infine analizzato il meccanismo di wiping sicuro della memoria per rendere il sistema compliant alle normative sulla Privacy GDPR.