Caso d'uso di architettura Big Data: dallo sviluppo al deployment

Negli ultimi anni, con la diffusione su larga scala di dispositivi e piattaforme multimediali, è aumentata notevolmente la richiesta sul mercato di servizi sempre innovativi ed aggiornati. Con lo sviluppo di piattaforme cloud, si è aperta la strada all’accumulo, elaborazione e analisi di grandi quantità di dati, utili a offrire servizi e a supportare le decisioni, i cosiddetti Big Data. L’unione di questi due fattori ha portato all’abbandono dei metodi di sviluppo tradizionali a fronte di tecniche adatte al soddisfare la richiesta del mercato. Il movimento DevOps presenta una rivoluzione culturale in grado di supportare il Deployment continuo di nuove versioni tramite una pipeline in grado di garantire qualità e valore del prodotto software. Lo scopo di questo lavoro è stato sviluppare un caso d’uso di architettura Big Data, applicandone al processo di sviluppo le metodologie sponsorizzate dal movimento DevOps. Nello specifico si è sviluppato un raccomandatore di film, basato sul dataset Movielens M20, strutturando il flusso di elaborazione in quattro processi tali da mostrare i vari tipi di elaborazione del Big Data. Le raccomandazioni sono generate con la tecnica del Collaborative Filtering, fisicamente implementato come Matrix Factorization e ottimizzato tramite l’algoritmo di Alternating Least Square. Si sono implementati due modelli di raccomandazione, uno Soft in grado di raccomandare con MSE di 0.7 e uno binario con accuratezza del 85%. Il DevOps è stato applicato ai processi e all’architettura di rete, strutturando quattro pipeline di Continuous Deployment in grado di rilasciare in produzione aggiornamenti in modo totalmente automatico, garantendo il funzionamento e la qualità del prodotto sviluppato. Si è inoltre dimostrato, tramite una stima, il vantaggio economico e temporale del DevOps all’aumentare della complessità del sistema.