Metodi di ottimizzazione stocastici

Gli ultimi decenni testimoniano un importante cambiamento nella risoluzione di una vasta classe di problemi in differenti discipline. Dalle Scienzeesatte e naturali all’Economia, dall’Ingegneria alla Statistica, numerosi problemi complessi vengono oggi risolti con metodi di ottimizzazione. A partire dagli anni 50 in particolare, i metodi di ottimizzazione sono esplosi nel campo dell’apprendimento automatico meglio conosciuto come machine learning, portando ad un’evoluzione dei metodi stessi. I metodi di ottimizzazione utilizzati per risolvere problemi di apprendimento sono quelli che coinvolgono l’utilizzo del gradiente. Questi metodi tradizionali purtroppo, non riescono ad essere efficienti quando le dimensioni dell’input non sono limitate. Nell’apprendimento automatico, l’ottimizzazione numerica ha lo scopo di determinare nella fase di addestramento i valori ottimali dei parametri; questi parametri definiscono la funzione di predizione richiesta dalla metodologia di apprendimento. Nel contesto dell’apprendimento automatico universalmente noto come largescale machine learning vengono utilizzati principalmente approcci di tipo Gradiente Stocastico. Gli approcci basati sul gradiente stocastico sono relativamente recenti nel panorama dell’ottimizzazione numerica. Per questo motivo necessitano di un’importante analisi teorica e algoritmica per l’adattamento di tecniche efficienti sviluppate nel contesto dei metodi del gradiente tradizionali. Questo lavoro di tesi si colloca esattamente in questo contesto, facendo un’analisi della differenza tra il metodo del gradiente classico e il metodo del gradiente stocastico mini-batch. I metodi del Gradiente Stocastico affrontati in questa tesi fanno rifermento ai metodi studiati e implementati da Robbins e Monro.