Container-based spot market in the cloud: design of a bid advisor

Il cloud mette a disposizione a chiunque risorse computazionali “infinite” che possono essere acquistate tramite Internet ed essere pronte all’utilizzo in pochi secondi. Utilizzare il cloud permette di risparmiare sui costi e allo stesso tempo poter eseguire su larga scala applicazioni complesse come quelle di machine learning. Per poter sfruttare al massimo l’infrastruttura, e quindi aumentare i profitti, alcuni cloud provider vendono le risorse computazionali inutilizzate a prezzi scontati, queste vengono assegnate agli utenti disposti a pagare di più a cui vengono revocate in caso qualcun altro faccia un’offerta maggiore; questo modello prende il nome di cloud spot market. L’obiettivo del progetto di tesi svolto era quello di integrare Apache Spark con uno spot market basato su Kubernetes e di realizzare un “bid advisor” che possa essere utilizzato dall’utente per poter decidere quanto pagare per le risorse “spot” in modo da ottenere le performance desiderate. Inoltre, è stata proposta una soluzione per ridurre gli effetti negativi che la preemption delle risorse computazionali può avere quando si eseguono applicazioni basate su Spark. Il sistema finale è stato testato per verificarne il corretto funzionamento e per valutare la qualità delle previsioni effettuate dal bid advisor.