Un caso di deep learning applicato alla previsione di guasti in contatori idrici: dati categorici, riduzione della dimensionalità e altri problemi

A seguito di un esperimento condotto con un modello di apprendimento automatico (Deep Learning), progettato con lo scopo di prevedere se un contatore dell'acqua si guastasse con il passare del tempo, ci siamo imbattuti in un caso molto strano, che si è verificato quando abbiamo cercato di potenziare il nostro classificatore, utilizzando anche tutte quelle informazioni di contesto relative al dispositivo, oltre alle misure numeriche di consumo dell’acqua. Queste informazioni sono comunemente chiamate “dati categorici”. Abbiamo riscontrato, sorprendentemente, che queste informazioni non hanno migliorato la precisione di previsione del classificatore, che invece è diminuita in modo significativo. Analizzando attentamente, abbiamo riconosciuto il problema come un caso di un aumento eccessivo delle dimensioni dello spazio dei dati sotto osservazione, con una corrispondente perdita di significatività statistica. Queste considerazioni sono riconducibili a un famoso teorema di R.E. Bellman, denominato come “curse of dimensionality”. Semplificando, indica che possono verificarsi fenomeni problematici in vari domini, come l'apprendimento automatico, quando aumenta la dimensionalità dei dati forniti. Il problema è di rilevanza statistica e si verifica quando il volume totale dello spazio sotto osservazione aumenta in modo significativo, rendendo così scarsi i dati disponibili. Abbiamo quindi deciso di cambiare la strategia di addestramento: osservando che ogni variabile categorica era riconducibile ad una distribuzione quasi-Pareto, abbiamo ri-addestrato i nostri modelli solo sui valori numerici (riferiti ai consumi dei dispositivi), uno per ogni variabile, ma solamente su quella frazione di contatori che mostravano i fattori qualitativi, secondo la distribuzione, più incidenti per quel dato categorico. Questa nuova strategia ha prodotto risultati sorprendenti, con un livello di precisione della previsione mai raggiunto prima, pari in media a un valore dell'87-88%.