The Hidden Cost of Intelligence: Understanding and Compare the Energy Consumption of AI models

L’impronta energetica dei moderni sistemi di intelligenza artificiale sta diventando unapreoccupazione sempre pi`u rilevante. Questa tesi analizza i consumi energetici dei LargeLanguage Model (LLM) e dei modelli di Generative AI. L’analisi prende avvio dallo studiodegli strumenti di monitoraggio energetico, come le Power Distribution Units (PDU) ele metriche a livello di GPU. I primi esperimenti sono stati condotti su una singolamacchina, valutando diversi LLM tramite il framework Ollama e la piattaforma HuggingFace, permettendo un confronto diretto tra le richieste energetiche dei compiti generativitestuali e visivi. Per ampliare l’analisi, modelli di dimensioni maggiori sono stati testatisu un’infrastruttura pi`u potente (2 NVIDIA RTX A6000). `E stato inoltre sviluppato unsistema di monitoraggio personalizzato in grado di raccogliere dati sincronizzati e ad altarisoluzione sia dalle GPU che dalle PDU. Successivamente sono stati effettuati anche deibenchmark per calcolare l’efficienza e la precisione dei Large Language Model attraverso ilbenchmark Humanity’s Last Exam (HLE). I risultati evidenziano differenze significativein termini di efficienza energetica e performance tra tipologie di modelli e contesti dideployment, offrendo spunti concreti per pratiche di calcolo AI pi`u sostenibili e fornendoindicazioni utili per future strategie di ottimizzazione su larga scala.