Data-driven Job Scheduling in Constraint Programming for HPC Systems

La presente tesi si colloca nell'ambito dei sistemi eterogenei High-Performance-Computing (da ora in poi denominati HPC), che hanno la peculiarità di utilizzare svariati tipi di risorse. In particolare, l’attenzione sarà concentrata sulle tecniche di scheduling che agiscono all’interno di questi sistemi, laddove per scheduling si intendono i metodi funzionali ad elaborare i vari jobs che vengono sottomessi dagli utenti ai sistemi stessi. La trattazione si aprirà con una prima parte di tipo teorico necessaria a delineare le premesse necessarie all’applicazione pratica ad un caso specifico che seguirà e costituirà il nucleo centrale di questa ricerca. Al fine di fornire una base metodologica, verranno quindi presentati vari tipi di scheduler, alcuni dei quali si basano sulla constraint programming, ovvero un paradigma di programmazione. Per quanto riguarda, invece, la predizione della durata dei jobs forniti dagli utenti, saranno utilizzate tecniche di tipo data-driven. Per quanto riguarda l'applicazione pratica dei suddetti metodi e concetti, verrà preso in esame EURORA, un sistema HPC di proprietà del CINECA, con sede a Bologna. Sarà, dunque, utilizzato un workload ottenuto dai log del sistema, dove sono presenti tutti i jobs sottomessi dagli utenti nell'arco cronologico di un anno, oltre a delle informazioni utili per la validazione degli scheduler che saranno meglio specificate col procedere della trattazione. E’ necessario premettere che, come criterio di preparazione dei jobs, i diversi tipi di scheduler adopereranno lo slowdown, i. e. una metrica comune finalizzata alla valutazione degli algoritmi di scheduling. Infatti, gli scheduler utilizzeranno tale metrica come criterio di priorità in modo da ottenere dei livelli soddisfacenti del parametro detto Quality of Service. Inoltre, saranno valutati gli impatti dei suddetti scheduler modificati sulle predizioni della durata dei jobs ottenuta grazie alle citate tecniche di data-driven.