Progettazione, sviluppo e validazione di un ChatBot basato su LLM con RAG su documentazione aziendale

Il rilascio sul mercato globale di un numero sempre maggiore di modelli linguisti di grandi dimensioni, con performance accuratamente valutate e studiate, ha portato molte aziende a tentare di integrarli all'interno dei propri processi aziendali. Il seguente elaborato spiega le diverse fasi di progettazione, sviluppo e validazione di un chatbot di assistenza aziendale, realizzato tramite l'impiego di uno dei suddetti modelli linguistici di grandi dimensioni. Tramite l'implementazione di una pipeline di Retrieval Augmented Generation, è stato possibile creare una base di conoscenza specifica, basata su documenti di manualistica aziendale e di normativa legale; essa fornisce al modello le informazioni e la conoscenza necessarie per generare output in linguaggio naturale a partire da una domanda utente. Il chatbot è stato implementato come servizio fruibile dagli utenti tramite API, disponibile come immagine Docker all'interno di un cluster Kubernetes. Si pianifica di rilasciare il servizio ad una prima serie di clienti beta, al fine di testare le performance generali, prima di renderlo effettivamente disponibile sul mercato.