Realizzazione e caratterizzazione di un nodo di calcolo eterogeneo RISC-V per inferenza LLM

La diffusione dei Large Language Model (LLM) ha aumentato la richiesta di piattaforme eterogenee dotate di acceleratori dedicati. Questa tesi presenta la realizzazione e la caratterizzazione preliminare di un nodo composto da un processore host Sophgo SG2044, basato su RISC-V, e da un acceleratore Tenstorrent Blackhole P150a con l’obiettivo di verificare l’integrazione dei due componenti e l’esecuzione di carichi di inferenza. Il nodo non completava inizialmente l’avvio con il Base Address Register (BAR)4 massimo previsto ed è stato necessaria una riduzione della finestra che ha permesso l’avvio del sistema e il riconoscimento della scheda. Si è poi proceduto a installare lo stack software di Tenstorrent risolvendo problemi di configurazione e compilazione su host RISC-V. Sono stati risolti problemi legati ai driver rigurdanti accessi non allineati ai registri Translation Lookaside Buffer (TLB) e mappature statiche non compatibili con la nuova dimensione del BAR4. La configurazione finale espone tutti i core Tensix attraverso un collegamento PCI Express. Per eseguire gli esperimenti è stato sviluppato tt-blackhole-benchmark, uno strumento che gestisce la configurazione, l’esecuzione e raccoglie prestazioni, telemetrie ed errori. La campagna quantitativa è stata completata con Qwen2.5-0.5B, variando token in ingresso, token in uscita e dimensione del batch. È stato analizzato il controllo che seleziona il campionamento sull’host o sull’acceleratore in funzione della dimensione del vocabolario dei modelli. La modifica sperimentale ha permesso di comprendere il percorso sul dispositivo e di valutare la compatibilità con altri modelli di frontiera. Il lavoro ha prodotto un nodo RISC-V–Tenstorrent operativo, la documentazione degli interventi necessari per il suo funzionamento e un’infrastruttura riproducibile per i benchmark. I risultati descrivono le prestazioni ottenute e i punti di arresto osservati, fornendo una base per future prove con più modelli e acceleratori.