Tecniche di aggregazione nel Federated Learning: eterogeneità e robustezza

Il Federated Learning emerge come un paradigma per addestrare modelli di machine learning preservando la privacy ed evitando la centralizzazione dei dati. Tuttavia, la sua efficacia in scenari reali incontra diverse sfide come l’eterogeneità dei dati e la vulnerabilità ad attacchi da parte di attori malintenzionati. Questo lavoro di tesi presenta un’analisi sperimentale di diverse tecniche di aggregazione in un contesto FL principalmente cross-silo, utilizzando il framework Flower. Il progetto estende le funzionalità base di Flower aggiungendo la gestione della riproducibilità degli esperimenti ed estendendo diverse tecniche di aggregazione con logging e salvataggio dei risultati. Inoltre, gestisce l’esecuzione di centinaia di esperimenti con tutti i relativi parametri di training, delle tecniche e di simulazione. Tutto ciò costituisce una sorta di framework che può essere facilmente esteso in lavori futuri per testare nuovi dataset, modelli o soluzioni. Il lavoro si divide principalmente in tre analisi diverse, seppur strettamente connesse fra loro per molti aspetti. In primo luogo, si studia l’impatto dell’eterogeneità dei dati simulata tramite distribuzione di Dirichlet su tecniche tradizionali come FedAvg e su strategie che sfruttano ottimizzazioni lato server, includendo scenari di partecipazione parziale e di personalizzazione. Nella seconda analisi, si valuta la robustezza implementando alcuni attacchi ampiamente trattati in ricerca come label flipping e backdoor e verificando poi l’efficacia di tecniche robuste come Median, TrimmedMean e Krum. Infine, l’analisi si estende a modelli ad albero, in particolare su XGBoost, e sulla sua applicazione in ambito FL. Nello specifico, sono state testate in diversi scenari due tecniche di aggregazione di Flower specifiche per XGboost.