Modelli a kernel gaussiano per problemi di classificazione

I processi gaussiani sono una particolare tipologia di processi stocastici, tutti caratterizzati dall'avere le distribuzioni finito dimensionali gaussiane. I processi gaussiani sono ampiamente studiati nella teoria dei processi stocastici, poiché la proprietà di avere ogni distribuzione finito dimensionale gaussiana gli conferisce una buona trattabilità analitica e li presta a diverse applicazioni. Negli ultimi anni, lo studio di sistemi informatici basati sul machine learning è stato di grande rilevanza. Uno dei campi di studio più importanti è stato lo sviluppo di modelli bayesiani, un particolare tipo di modello probabilistico, che potessero adattarsi bene all'applicazione per vari problemi di machine learning. Fra i modelli studiati, particolare importanza rivestono proprio i modelli che sfruttano l'uso dei processi gaussiani. Alcuni lavori degli ultimi anni su questi modelli hanno dimostrato che essi sono in grado di garantire buone performance, in particolare nel ridurre il problema dell'overfitting per modelli di grandi dimensioni. In questa tesi, ci si propone di confrontare un modello probabilistico più semplice, la logistic regression, con un modello probabilistico bayesiano che fa uso proprio dei processi gaussiani. In particolare, verranno approfonditi gli aspetti teorici sottostanti a entrambi i modelli, sottolineandone analogie e differenze. Successivamente, verrà approfondito un particolare algoritmo per il training del modello gaussiano, l'algoritmo Expectation Propagation. Infine, verranno fatte delle brevi considerazioni finali, rimandando ad altri testi per delle analisi più approfondite dei risultati sul campo dei due modelli.