Metodi di ottimizzazione per l'analisi dati: il metodo di Kaczmarz per la regressione lineare

Il presente elaborato tratta di metodo numerici per l’ottimizzazione nel campo dell’analisi dei dati. In particolare, viene studiato un modello di regressione lineare attraverso il metodo di Kaczmarz. Questo metodo è un metodo del gradiente stocastico adattato al problema ai minimi quadrati lineari ed è molto utilizzato nel Machine Learning dove si presentano spesso matrici di dati con tante osservazioni e poche caratteristiche (matrici sovradeterminate). Dato che le informazioni fornite da tante righe sono spesso ridondanti, il metodo risulta efficiente poiché sceglie casualmente la riga della matrice con cui aggiornare l'iterazione e non richiede quindi di calcolare interamente il gradiente della funzione obiettivo. Infine, abbiamo implementato il metodo di Kaczmarz in Matlab e lo abbiamo utilizzato per un problema di regressione lineare che modellizza un problema di previsione di vendite costruito durante il periodo di tirocinio in Azienda. I risultati sono raccolti nell'ultimo capitolo.