DeepFake Detection Efficiente: un percorso architetturale incrementale, da CNN efficienti a modelli ibridi con fusione DINOv3

Questo lavoro di tesi indaga se sia possibile costruire un sistema di rilevamento di deepfake facciali con accuratezza competitiva ma eseguibile senza GPU dedicata, cioè un modello autenticamente CPU-friendly, rilevante per strumenti di detection pratici. Per rispondere a questa domanda è stato seguito un percorso architetturale incrementale: da CNN efficienti (EfficientNet-B0) a un Vision Transformer data-efficient (DeiT-Tiny), fino a una proposta originale di architettura Dual-Branch che fonde rappresentazioni locali (CNN) e globali (Foundation Model DINOv3) tramite cross-attention. È stata costruita una pipeline che unifica Celeb-DF++ e FEI Face/FEI Morph v2 in un master dataset di 167.453 campioni, con split privi di identità condivise tra training, validation e test, per evitare che il modello impari a riconoscere le persone anziché le manipolazioni. Sei diverse configurazioni sono state addestrate e valutate sui dati originali e sotto degradazione controllata. Sui dati originali, il modello più accurato è DeiT-Tiny con augmentation avanzata (87,9%), seguito da Hybrid EfficientNet-B0 (87,0%); l’augmentation avanzata migliora la robustezza sotto degradazione per cinque architetture su sei, con l’eccezione di DINOv3 ConvNeXt-S. Il tempo di inferenza su CPU varia da 13,8 ms (DeiT-Tiny) a 67,2 ms (Dual-Branch), circa 15 immagini/s senza GPU. Il modello Dual-Branch Hybrid proposto risulta tra i più bilanciati: accuratezza competitiva, robustezza solida, inferenza CPU praticabile. Questi risultati dimostrano che l’equilibrio tra accuratezza ed efficienza è concretamente raggiungibile: l’integrazione di Foundation Model self-supervised con CNN light emerge come una direzione valida per detection efficiente e robusta anche con risorse hardware limitate. Questo lavoro di tesi è stato svolto nell’ambito di un tirocinio curricolare presso IdentifaAI Labs S.p.A., Cesena.