The Fokker-Planck equation as model for the stochastic gradient descent in deep learning

La discesa stocastica del gradiente (SGD) è alla base degli algoritmi di ottimizzazione di reti di Deep Learning più usati in AI, dal riconoscimento delle immagini all’elaborazione del linguaggio naturale. Questa tesi si propone di descrivere un modello basato sull’equazione di Fokker-Planck della dinamica del SGD. Si introduce la teoria dei processi stocastici, con particolare enfasi sulle equazioni di Langevin e sull’equazione di Fokker-Planck. Si mostra come il SGD minimizzi un funzionale sulla densità di probabilità dei pesi, non dipendente direttamente dalla funzione di costo. Infine si discutono le implicazioni di questa inferenza variazionale ottenuta dal SGD.