Large Language Models su Raspberry Pi: Deployment e Analisi delle Prestazioni

L’elaborato analizza la fattibilità dell’esecuzione on-device di Large Language Models (LLM) in contesti di edge computing a risorse limitate, con particolare attenzione alle versioni più leggere dei modelli, gli Small Language Models (SLM). Come caso di studio è stato valutato il modello Gemma 3 270M, eseguito su Raspberry Pi 2 Model B in diverse configurazioni di quantizzazione (Q2–Q8 e F16) in formato .gguf tramite llama.cpp. L’analisi combina benchmark eterogenei e misurazioni prestazionali per valutare l’impatto delle diverse quantizzazioni sull’efficienza e sulla qualità dell’elaborazione. Inoltre, è stato sviluppato un sintetizzatore vocale text-to-speech (TTS) completamente eseguito in locale. I risultati confermano la praticabilità dell’esecuzione locale di modelli linguistici di piccole dimensioni e mostrano che le quantizzazioni Q4–Q6 offrono il miglior compromesso tra accuratezza e prestazioni su CPU. Infine, vengono discusse possibili estensioni e sviluppi futuri del lavoro.