Quanto è grande davvero un modello AI da 405 miliardi di parametri? E cosa cambia quando un Mac Studio può mettere a disposizione 256 o 512 GB di memoria unificata e collegarsi ad altri Mac via Thunderbolt 5?
Abbiamo tradotto 70B, 405B, 1T, Q4 e token al secondo in esempi concreti, arrivando fino a una biblioteca immaginaria composta da oltre un milione di volumi dell’Encyclopédie di Diderot.
Con Mac Studio M5 Ultra Apple spinge il proprio desktop professionale in una direzione sempre più esplicitamente legata all’intelligenza artificiale eseguita in locale. Il chip arriva fino a una CPU 36-core e una GPU 80-core, ma per questo particolare tipo di applicazione due numeri sono probabilmente ancora più interessanti: fino a 512 GB di memoria unificata e 1,2 TB/s di banda della memoria.
C’è poi una novità meno immediata, ma potenzialmente ancora più importante. Più Mac Studio possono essere collegati fra loro tramite Thunderbolt 5 utilizzando RDMA, Remote Direct Memory Access, per distribuire fra più computer modelli che non potrebbero essere caricati nella memoria di una singola macchina. Apple dichiara che un cluster composto da quattro Mac Studio può arrivare fino a tre volte le prestazioni di inferenza AI di un singolo sistema.
