Tecniche di explainability applicate a modelli predittivi in ambito didattico

I modelli di machine learning più complessi, che solitamente risultano essere anche i più efficaci nella modellazione di problematiche reali, sono spesso caratterizzati da una natura black-box. Il loro comportamento interno può essere infatti difficile da comprendere e di conseguenza il processo decisionale dietro le previsioni prodotte potrebbe risultare poco chiaro. Tale caratteristica non è desiderabile in numerosi contesti di utilizzo, in quanto mina la fiducia degli utilizzatori e non supporta la trasparenza delle soluzioni AI proposte. Esistono a riguardo dei metodi di explainability, appartenenti all’ambito XAI, che hanno lo specifico obbiettivo di fornire spiegazioni utili alla comprensione dell’iter decisionale seguito dai modelli black-box. L’importanza dell’explainability è evidente anche nel campo dell’Educational Data Mining (EDM), dove l’utilizzo di modelli che forniscono previsioni comprensibili alle parti interessate è cruciale per permettere agli educatori di correggere eventuali errori, evitando che decisioni errate possano avere conseguenze dannose per gli studenti coinvolti. Nel presente lavoro di tesi è proposto il confronto e l’applicazione delle due tecniche XAI SHAP e LIME a tre differenti modelli di machine learning sviluppati in uno studio di EDM focalizzato sulla predizione del basso rendimento scolastico. Tali metodi forniscono spiegazioni locali, ovvero su singole predizioni dei modelli, definendo il contributo effettivo di ogni feature dell’input rispetto la predizione finale. Tali valori, calcolati per un numero significativo di istanze, possono essere successivamente aggregati al fine di ottenere le importanze globali degli attributi nell’iter decisionale dei modelli in generale. A seguito della conduzione degli esperimenti relativi all’applicazione dei due metodi sui modelli oggetto di studio, i risultati ottenuti sono stati confrontati e analizzati ricercando similitudini e coerenza tra gli iter decisionali dei modelli proposti.