Introduzione al Machine Learning e alle reti neurali

Nel primo capitolo di questo elaborato vengono esposte le basi di un algoritmo di classificazione Machine Learning. In particolare ci si concentra sull’obiettivo dello stesso, ovvero generare una funzione ipotesi in grado di svolgere il compito richiesto. Per controllare il successo di questa operazione viene introdotto il concetto di errore, ovvero quanto la soluzione trovata è vicina a quella cercata. Essendo quest’ultima sconosciuta, è impossibile calcolare effettivamente l’errore reale, per questo viene utilizzato l’errore empirico, che riflette quanto é efficace la funzione ipotesi su un insieme di allenamento. Questo processo, per funzionare, necessita che l’errore empirico sia effettivamente una buona approssimazione dell’errore reale, proprietà verificata dagli algoritmi dotati della proprietà di Uniform Convergence. Verrà quindi esposto cosa significa, quali sono le condizioni per ottenerla e una classe di problemi per cui è particolarmente efficiente seguire questo processo (Convex Optimization). Nel secondo capitolo viene analizzato un particolare tipo di algoritmi, le reti neurali. Verrà esposto come i principi precedentemente visti per il Machine Learning non valgono nel caso delle reti neurali, problema che rende necessari nuovi risultati per garantire il successo dell’algoritmo. In particolare si affronta lo studio delle reti a due livelli, con qualche risultato sulla convergenza delle ipotesi così prodotte. Riguardo questo argomento l'elaborato descrive due teoremi che permettono di dimostrare come sia possibile approssimare, tramite una rete neurale a due livelli, una classe di funzioni abbastanza ampia e come l’errore raggiunto sia inversamente proporzionale al numero di neuroni. Il primo risultato ci assicura la convergenza dell’errore di approssimazione mentre il secondo ci indica il numero di neuroni necessari per raggiungere quel grado di approssimazione.