Deep Learning Models with Stochastic Targets: an Application for Transprecision Computing

Il presente elaborato di tesi è parte di un ampio progetto finanziato dall’Unione Europea, sotto il programma Horizon 2020 per la ricerca e l’innovazione, Open Transprecision Computing (OPRECOMP). Il progetto, della durata di 4 anni, punta a superare l’assunto conservativo secondo cui ogni calcolo compiuto da sistemi e applicazioni computazionali debba essere eseguito utilizzando la massima precisione numerica. Tale assunto è finora risultato sensato in vista di un’efficienza computazionale sempre migliore col passare del tempo, secondo la legge di Moore. Com’è noto, nell’era attuale tale legge ha iniziato a perdere di validità con l’approssimarsi dei limiti fisici che impediscono ulteriori miglioramenti di grande ordine previsti di anno in anno, dando piuttosto spazio a miglioramenti marginali. L’approccio proposto dal progetto OPRECOMP (il cui sviluppo vuole beneficiare applicazioni che spaziano dai piccoli nodi computazionali per l’Internet-of-Things, fino ai centri computazionali di High Performance Computing) è basato sul paradigma del Transprecision Computing, che supera l’assunto della massima precisione in favore di calcoli approssimati; tramite tale paradigma si arriva ad un doppio vantaggio: computazioni più efficienti e brevi, e soprattutto, risparmio energetico. Per fare ciò, OPRECOMP sfrutta il principio secondo cui quasi ogni applicazione computazionale utilizza nodi intermedi di calcolo, le cui precisioni possono essere tarate (in modo controllato) con conseguenze minime sull’affidabilità del risultato finale. All'interno dell'elaborato vengono esplorate soluzioni e metodologie di machine learning (e in particolare modelli stocastici, ovvero distribuzioni probabilistiche caratterizzate da errore medio e varianza) con lo scopo di apprendere la relazione che incorre tra la scelta del numero di bit utilizzati per le variabili di alcuni benchmark matematici e il relativo errore rilevato rispetto alla stessa computazione eseguita a precisione massima.