Oltre le scaling laws: Small Language Models come alternativa ai Large Language Models

La presente ricerca fornisce un'analisi approfondita sulle potenzialità e sull'impiego dei Small Language Models (SLM) come alternativa ai Large Language Models (LLM) all'interno di contesti aziendali e task specifiche. Partendo da una riflessione critica sul paradigma delle scaling laws, secondo cui il miglioramento delle prestazioni dipenderebbe linearmente dall'aumento esponenziale di parametri e dati, lo studio argomenta come l'ottimizzazione e la specializzazione possano compensare la ridotta dimensione computazionale. L'obiettivo è rispondere a una necessità cruciale del settore industriale: lo sviluppo di soluzioni che bilancino accuratezza ed efficienza, permettendo l'esecuzione locale (on-edge) e garantendo la privacy del patrimonio documentale. Il fulcro della ricerca si basa su una sperimentazione pratica condotta sulla famiglia di modelli Gemma 3. I Task che si sono analizzati e su cui si sono addestrati i modelli di Gemma sono ripsettivamente uno testuale dedicato alla sentiment analysis e uno multimodale focalizzato sull'estrazione dati da documenti visivi. Quindi l'elaborato delinea un cambio di paradigma verso architetture contestualizzate sul problema, suggerendo che per task verticali la specializzazione profonda sia preferibile alla pura forza bruta computazionale.