Cluster Hadoop su un cluster Swarm: un approccio automatizzato

Questa tesi descrive un progetto per la creazione di un cluster di computer, connessi tra loro con Docker Swarm, per un sistema interno all'università. Il cluster viene avviato per mezzo di alcuni strumenti di automazione in ambito IT, in modo autonomo, con il minimo intervento umano; questi strumenti sono: MAAS e Ansible. Il progetto ha il fine di fornire ad un gruppo di ricercatori un sistema di calcolo distribuito, su cui eseguire la suite di Hadoop, per calcoli di machine learning e data mining. I computer sono avviati e configurati da zero: in un primo momento MAAS installa il sistema operativo, poi vengono installati i programmi necessari e viene avviato lo Swarm Docker, automaticamente grazie a Ansible . Oltre a MAAS e Ansible vengono usati due programmi, installati sui nodi del cluster, per monitoraggio del nodo e dei container, rispettivamente: Zabbix e Portainer. Zabbix raccoglie informazioni sull'esecuzione di un computer, Portainer fornisce un'interfaccia web dalla quale controllare i container. Il progetto si limita a preparare il sistema fino all’avvio di Docker, sarà un collega di corso a dedicarsi all'organizzazione di Hadoop, usando gli strumenti forniti in questo elaborato. Nel sistema completo, I programmi legati ad Hadoop saranno essere eseguiti all'interno di container Docker, i quali saranno distribuiti tra i nodi dello Swarm; in questo senso "cluster su un cluster".