Utilizzo di Scala e Spark per l'esecuzione di programmi Data-Intensive in ambiente cloud

Questo documento fornisice un introduzione al mondo dei big data e cerca di fornire una panoramica chiara e completa su un linguaggio di programmazione e un framework utile per la manipolazione di grandi dataset e, quindi,come essi sono in grado di interoperare: • Scala, rappresenta un linguaggio di programmazione basato su due paradigmi di programmazione: Object Oriented e Funzionale; • Spark, che può essere visto come un linguaggio per il calcolo distribuito e l’analisi di Big Data. Nel presente testo, dopo aver fornito un’introduzione al contesto nel Capitolo 1, vengono descritti i principali costrutti del linguaggio di programmazione Scala, che sfrutta un modello di comunicazione di message passing basato sugli attori nel Capitolo 2. Successivamente, nel Capitolo 3, viene descritto il framework Spark con la sua architettura e il sottosistema di programmazione basato su RDD. Si conclude poi nel Capitolo 4 con la dimostrazione di un caso d’uso dei due linguaggi, in cui viene preso un dataset da SNAP, gli viene applicato il PageRank (grazie anche all’uso della libreria GraphX) ed eseguito sulla piattaforma di Amazon Web Service EC2.