CMS processing efficiency: Big Data exploration with Kibana and Elasticsearch

LHC (Large Hadron Collider) ogni anno raccoglie dati, per un volume complessivo di decine di PetaBytes, provenienti da collisioni protone-protone e collisioni di ioni pesanti. In aggiunta a ciò, vanno considerati anche i dati ottenuti tramite le simulazioni Monte-Carlo. Il coordinamento delle risorse computazionali necessarie a gestire questi volumi di dati è stato raggiunto sfruttando le tecnologie fornite da WLCG (Worldwide LHC Computational Grid), una collaborazione infrastrutturale di centri di calcolo sparsi in tutto il mondo. Grazie a questa infrastruttura sono state possibili tutte le scoperte ottenute a LHC, compresa quella del bosone di Higgs. Nel corso degli anni sono stati raccolti e conservati anche dati di monitoraggio relativi alle operazioni di calcolo. Recentemente parte di questi metadati è stata curata in modo tale da poter essere analizzata con tecnologie Big Data. Più specificamente, molte informazioni relative alla gestione dei “payload” di CMS sono state raccolte in una unica istanza ElasticSearch, creando così l’opportunità di analizzare con strumenti estremamente potenti set di informazioni precedentemente non accessibili. A dimostrazione delle potenzialità di questo strumento, la presente tesi presenta lo studio delle CPU effciencies di tutti i job sottomessi da CMS negli ultimi 9 mesi.