Un report di Morgan Stanley segnala un cambio di paradigma nell’industria dei semiconduttori: nei sistemi avanzati di Intelligenza Artificiale, il vero collo di bottiglia non sono più le GPU, ma la memoria RAM ad alte prestazioni che le alimenta.
Entro il 2027, secondo le stime degli analisti, il costo della memoria HBM potrebbe arrivare a rappresentare fino al 40% del valore complessivo dell’hardware AI. Una proporzione che sta già influenzando disponibilità delle GPU, tempi di consegna e pianificazione dei grandi operatori cloud a livello globale.
Cos’è la memoria HBM e perché è diventata insostituibile
HBM sta per High Bandwidth Memory: moduli DRAM impilati verticalmente e collegati tramite interconnessioni ad altissima velocità, chiamate Through-Silicon Via. Questa architettura consente larghezze di banda enormemente superiori rispetto alla memoria tradizionale, ed è diventata indispensabile perché i moderni modelli linguistici richiedono accesso continuo e rapidissimo a parametri, tensori e cache temporanee durante l’addestramento.
Il problema è semplice: se il flusso dati tra memoria e processore non è abbastanza rapido, migliaia di core restano inattivi in attesa delle informazioni necessarie. Nei sistemi più recenti come le GPU NVIDIA Blackwell e Hopper, la larghezza di banda supera diversi terabyte al secondo. Per ottenerla, GPU e memoria vengono integrate su un unico substrato tramite tecnologie di packaging avanzato come CoWoS, sviluppata da TSMC.
