NVIDIA ha aggiunto un nuovo elemento alla piattaforma NVLink Fusion, l'architettura pensata per consentire a hyperscaler e aziende AI di integrare acceleratori proprietari, indicati come XPU, all'interno dell'infrastruttura NVIDIA. Si tratta di NVHBM, una tecnologia di base-die per la memoria High Bandwidth Memory (HBM) sviluppata per aumentare la banda disponibile, ridurre i consumi e diminuire l'area occupata dalle interfacce di memoria sul die principale dell'acceleratore.
Secondo NVIDIA, NVHBM può offrire fino al 30% di banda di memoria in più per stack rispetto alla HBM4E standard. Il vantaggio è particolarmente rilevante nei carichi di lavoro limitati dalla memoria, nei quali una maggiore velocità di trasferimento dei dati può aumentare l'utilizzo effettivo delle unità di calcolo e il throughput dell'acceleratore. Nell'inferenza di modelli di grandi dimensioni, questo può tradursi anche in una maggiore quantità di token elaborati al secondo.
NVHBM è intervenuta anche sulla struttura fisica dell'interfaccia tra HBM e acceleratore. Nelle implementazioni tradizionali, il memory controller è integrato nel die principale dell'acceleratore. La soluzione NVIDIA sposta invece il controller di memoria all'interno del base die dello stack HBM e utilizza un PHY custom di dimensioni più contenute.
