Large Language Model per l’Analisi di Bilanci Aziendali: Sviluppo e Studio Comparativo tra Modelli Open Source e Proprietari

Questo lavoro di tesi è stato condotto presso l’azienda Luna S.R.L., in collaborazione con RBHQ S.R.L., nell’ambito del progetto HYKEE AI. Il progetto si propone di sviluppare un assistente virtuale a supporto di analisti e consulenti finanziari, in grado di interpretare i bilanci delle aziende italiane e offrire una panoramica chiara e sintetica della loro salute finanziaria. La tesi presenta non solo una descrizione approfondita del progetto HYKEE AI, ma anche uno studio comparativo tra modelli di linguaggio di grandi dimensioni (LLMs) open source e proprietari. Questa comparazione è stata effettuata attraverso valutazioni fornite da un esperto umano, utilizzate poi per addestrare un modello noto come LLM-as-a-Judge. Il modello così addestrato è stato impiegato per valutare le performance dei modelli LLM open source e proprietari nel contesto dell’analisi di bilancio. Ogni LLM è stato testato con tre differenti prompt, creati utilizzando il metodo del In-Context Learning. I risultati del lavoro hanno evidenziato una differenza statisticamente significativa nelle prestazioni dei modelli considerati, mentre non è emersa una differenza significativa tra i vari prompt utilizzati; il modello migliore è risultato essere Claude 3 Haiku.