Softex: Softmax Computing Engine for Fast Exponential Acceleration

I trasformer e le loro applicazioni, come i large language model, stanno suscitando un crescente interesse da parte del pubblico grazie alle loro prestazioni rivoluzionarie in un'ampia gamma di campi, tra cui il natural language processing, la computer vision e l'elaborazione audio. Purtroppo, tutta questa potenza ha un costo elevato, sia in termini di hardware costoso che di consumo energetico estremamente elevato, limitando l'uso di questi modelli a un numero molto limitato di utenti disposti a investire enormi quantità di risorse nella costruzione di grandi datacenter. Delle due principali operazioni eseguite nei transformer, le moltiplicazioni matrice-matrice e la softmax, solo l'accelerazione delle prime è stata ampiamente esplorata su dispositivi a basso consumo, mentre l'accelerazione della seconda è ancora un problema aperto. Per questi motivi abbiamo sviluppato Softex - Softmax Computing Engine for Fast Exponential Acceleration, un acceleratore a basso consumo della funzione softmax di vettori in formato BFloat16 che impiega un nuovo algoritmo di esponenziazione per consentire un calcolo veloce ed efficiente di questa funzione. Softex è stato integrato in un cluster a basso consumo con 8 core RISC-V e implementato in una tecnologia CMOS a 12 nm. A 1 GHz e 0,7 V, Softex è più veloce degli otto core disponibili di un fattore che va da 45x a 170x, con prestazioni fino a 4,92 GOp/s. Inoltre, con un consumo energetico di 35,58 mW, Softex offre un'efficienza di picco di 138 GOp/s/W, 178,4 volte superiore al software.