Cactus ha rilasciato Needle 2, un modello linguistico da 45 milioni di parametri specializzato in tool calling, cio� nella traduzione di comandi in linguaggio naturale in chiamate di funzione strutturate. L'intero modello sta in un binario C++ da 14MB, senza dipendenze esterne, e durante l'esecuzione occupa appena 28MB di RAM.
La scommessa dell'azienda � dichiarata fin dal nome del progetto: non serve un modello da miliardi di parametri per accendere una luce o avviare un timer. Bastano pochi milioni di parametri se il problema viene ridotto a ci� che � realmente, ovvero mappare una frase su un insieme finito di funzioni con argomenti tipizzati, senza bisogno di conoscenza enciclopedica o capacit� di conversazione libera.
Sul fronte prestazionale, Needle 2 dichiara 500 token al secondo in decodifica su un Raspberry Pi 5, tra 400 e 1.500 token al secondo su visori come Meta Quest 3S e Apple Vision Pro, e un intervallo di 300-700 token al secondo su smartphone economici come i Samsung Galaxy della serie A. Il tetto di RAM lo rende compatibile anche con microcontrollori come l'ESP32-S3.
Needle 2 richiede solo 28 MB di RAM
La compressione a 2 bit (CQ2-bit, tramite la tecnica proprietaria Cactus Quants) � parte integrante del training stesso, dal pretraining fino al post-training, su pesi, attivazioni e cache KV. Cactus sostiene sia questo l'accorgimento che evita il collasso qualitativo tipico dei modelli piccoli compressi a posteriori.
