Il metodo di discesa stocastica del gradiente: convergenza e applicazioni.

La discesa stocastica del gradiente è un metodo iterativo per l'ottimizzazione di certe funzioni, utilizzato specialmente in casi in cui la dimensione dei dati sia particolarmente elevata. Il seguente elaborato è incentrato sulla presentazione di questo metodo e sulla dimostrazione della sua convergenza quasi certa per funzioni obiettivo non convesse. Il testo si divide in tre parti: la prima parte tratta il metodo di discesa del gradiente deterministico e la sua convergenza nel caso convesso. Nella seconda parte si presenta il metodo di discesa del gradiente stocastico, ponendo particolare enfasi nel caso (molto comune nelle applicazioni) in cui la funzione obiettivo sia espressa mediante somma di funzioni. Prima della parte sulla convergenza quasi certa è presente una sezione in cui si mostra come si arriva alla convergenza average iterate e si descrive la variante Randomly stopped. La terza parte mostra come si può applicare la discesa stocastica del gradiente per risolvere problemi di regressione lineare; questa sezione è comprensiva di esempi e codici scritti utilizzando il software MATLAB.