Far funzionare un modello linguistico locale su notebook, smartphone o persino mini-PC è ormai una possibilità consolidata. Molto più insolito è riuscire a eseguire un LLM direttamente su un microcontrollore dal costo inferiore ai 10 dollari, progettato principalmente per applicazioni IoT, sensori remoti ed elettronica embedded. È quanto dimostrato dallo sviluppatore ucraino Slava S, conosciuto online come SlvDev, che ha documentato il progetto su GitHub e lo ha mostrato anche attraverso il canale YouTube Better Stack.
L'esperimento si basa su un ESP32-S3, un chip dotato di appena 512 KB di SRAM (520 KB secondo le specifiche Espressif) e di 8 MB di PSRAM, con versioni che integrano fino a 16 MB di memoria Flash. Si tratta di una quantità di memoria estremamente limitata: inferiore persino a quella disponibile su molti personal computer degli anni Novanta e lontanissima dai requisiti normalmente richiesti dai moderni modelli linguistici.
Il problema principale è infatti rappresentato dall'occupazione in memoria dei pesi del modello. Anche un LLM relativamente piccolo richiede generalmente da uno a quattro byte per parametro, motivo per cui l'inferenza viene normalmente affidata a GPU dotate di decine di gigabyte di memoria. Per adattarsi ai vincoli dell'ESP32-S3, SlvDev ha scelto TinyStories, un modello sviluppato da Microsoft Research con 28,9 milioni di parametri, circa diecimila volte più piccolo rispetto ai modelli di frontiera.
