IoT
Sviluppo
I modelli generativi locali sono spesso associati a notebook potenti, GPU dedicate, decine di gigabyte di memoria e miliardi di parametri. Needle 2 offre un approccio completamente differente: si basa su soli 45 milioni di parametri, un singolo binario da 14 MB e circa 28 MB di RAM per una sessione completa.
Il progetto è sviluppato da Cactus Compute ed è pensato soprattutto per tre compiti precisi: tool calling, controllo dei dispositivi ed estrazione strutturata dei dati. Non vuole quindi competere con ChatGPT, Claude o Gemini nella generazione di testi aperti e nella conoscenza generale. L’obiettivo di Needle 2 è molto più circoscritto: interpretare una richiesta in linguaggio naturale e capire quale funzione invocare, con quali parametri, direttamente su dispositivi che normalmente sarebbero considerati troppo piccoli per ospitare un modello generativo.
Per accendere una lampada, impostare un termostato o ordinare a un piccolo robot di spostarsi non serve un modello capace di discutere di storia, scrivere codice complesso o rispondere a domande enciclopediche. Serve soprattutto tradurre una frase potenzialmente ambigua in una chiamata strutturata e affidabile.
