CMS processing efficiency: Big Data exploration with Kibana and Elasticsearch

Minarini, Francesco (2017) CMS processing efficiency: Big Data exploration with Kibana and Elasticsearch. [Laurea], Università di Bologna, Corso di Studio in Fisica [L-DM270], Documento full-text non disponibile
Il full-text non è disponibile per scelta dell'autore. (Contatta l'autore)

Abstract

LHC (Large Hadron Collider) ogni anno raccoglie dati, per un volume complessivo di decine di PetaBytes, provenienti da collisioni protone-protone e collisioni di ioni pesanti. In aggiunta a ciò, vanno considerati anche i dati ottenuti tramite le simulazioni Monte-Carlo. Il coordinamento delle risorse computazionali necessarie a gestire questi volumi di dati è stato raggiunto sfruttando le tecnologie fornite da WLCG (Worldwide LHC Computational Grid), una collaborazione infrastrutturale di centri di calcolo sparsi in tutto il mondo. Grazie a questa infrastruttura sono state possibili tutte le scoperte ottenute a LHC, compresa quella del bosone di Higgs. Nel corso degli anni sono stati raccolti e conservati anche dati di monitoraggio relativi alle operazioni di calcolo. Recentemente parte di questi metadati è stata curata in modo tale da poter essere analizzata con tecnologie Big Data. Più specificamente, molte informazioni relative alla gestione dei “payload” di CMS sono state raccolte in una unica istanza ElasticSearch, creando così l’opportunità di analizzare con strumenti estremamente potenti set di informazioni precedentemente non accessibili. A dimostrazione delle potenzialità di questo strumento, la presente tesi presenta lo studio delle CPU effciencies di tutti i job sottomessi da CMS negli ultimi 9 mesi.

Abstract
Tipologia del documento
Tesi di laurea (Laurea)
Autore della tesi
Minarini, Francesco
Relatore della tesi
Scuola
Corso di studio
Ordinamento Cds
DM270
Parole chiave
LHC,CMS,BIG DATA,ELASTICSEARCH,DATA ANALYSIS,CPU EFFICIENCY
Data di discussione della Tesi
22 Settembre 2017
URI

Altri metadati

Gestione del documento: Visualizza il documento

^