di
Sergio Donato
30 miliardi di parametri sotto licenza Apache 2.0, quantizzati a 4 bit per stare in 24 GB di memoria video. In arrivo anche Muse Spark 1.2 a pesi aperti
Dopo l'ormai lontana esperienza di llama, che l’ha resa la prima grande società statunitense nel settore IA a rilasciare modelli “open”, Meta ha pubblicato Muse Glimmer, un modello linguistico da 30 miliardi di parametri distribuito con i pesi aperti sotto licenza Apache 2.0, quindi utilizzabile e modificabile anche a fini commerciali senza obblighi di reciprocità. Il modello è pensato per funzionare in locale su un Mac o un PC dotati di una sola GPU consumer, ed è già scaricabile da Hugging Face.
Proprio perché vuole associarlo all’inferenza locale, Meta si è data come vincolo la memoria disponibile. A piena precisione un modello da 30 miliardi di parametri richiederebbe oltre 55 GB, ma la quantizzazione a circa 4 bit porta Glimmer sotto i 20 GB, lasciando spazio alla cache KV, all'encoder che gestisce le immagini e al modello ausiliario per la decodifica speculativa entro i 24 o 32 GB di una GPU consumer di fascia alta o di un Mac.
