OpenAI non è l’unica a spingere sull’AI on-device: anche PrismML sta cercando di portare modelli di classe cloud su telefoni e notebook, e con Bonsai 27B il salto è concreto.
Il nuovo modello, basato su Qwen3.6 27B, è stato presentato nella giornata di ieri in due varianti compresse, una binaria da 3,9 GB e una ternaria da 5,9 GB, con supporto per testo e immagini e licenza Apache 2.0.
Un 27B che sta “in tasca”
Bonsai 27B è stato progettato per superare il limite classico dei modelli da 27 miliardi di parametri, che in formato FP16 richiederebbero circa 54 GB di memoria.
PrismML afferma di aver ottenuto questa riduzione lavorando end-to-end sui pesi del modello, invece di applicare una semplice quantizzazione finale, così da rendere possibile l’esecuzione locale su hardware consumer, risultando funzionante anche su un iPhone più recenti. La variante da 1 bit è pensata per la massima portabilità, mentre quella ternaria privilegia una qualità più alta a fronte di un ingombro ancora molto contenuto.
