Analisi statistica delle attivazioni per determinare il livello di fiducia di un Classificatore Neurale

Nel prossimo futuro si prevede che modelli di intelligenza artificiale sempre più complessi e performanti possano accompagnare le persone nella vita di tutti i giorni. Questa previsione ha sollevato, oltre a un grande entusiasmo nei confronti di questa tecnologia, anche l’interrogativo sulla trasparenza delle decisioni prese da questi sistemi innovativi. L’Unione Europea è diventata di recente il primo ente a regolamentare questa tecnologia attraverso l’AI Act. Al tempo stesso il crescente sviluppo di questi modelli ha dato l’impulso a un nuovo ambito di ricerca definito eXplainable AI. I ricercatori in questo ambito vogliono migliorare la comprensione dei processi decisionali dei modelli di AI, aumentando quindi la loro affidabilità. Questa trattazione offre una panoramica sullo stato dell’arte di questo ambito di ricerca innovativo, riportando anche l’interesse riscontrato da parte di alcuni enti europei per questo campo. Le tecniche proposte in questo studio combinano metodi di compressione dati e clustering per analizzare le proprietà delle attivazioni generate da una rete neurale profonda durante l’elaborazione dell’ingresso. I risultati riportati dimostrano come le attivazioni possano, se opportunamente rielaborate, restituire un’indicazione sull’operato del sistema facilitandone la comprensione. Per la rielaborazione delle attivazioni sono state attuate specifiche tecniche di compressione dati di tipo lineare e non lineare. Inoltre, le analisi svolte evidenziano l’esistenza di un compromesso tra l’affidabilità del modello e le sue prestazioni. Tale dualità è descritta confrontando l’uscita della rete con i risultati del clustering delle attivazioni e imponendo un opportuno livello di fiducia sul risultato del confronto. Le tecniche proposte sono un primo passo promettente verso la realizzazione di una vera e propria tecnica di spiegazione basata sul clustering delle attivazioni.