Nvidia ha annunciato NVHBM, una memoria ad alta larghezza di banda sviluppata in forma personalizzata per i partner che progettano chip compatibili con l’ecosistema NVLink Fusion.
Il punto chiave è l’architettura: Nvidia sposta il controller di memoria dentro lo stack HBM invece di lasciarlo sul die principale dell’acceleratore. In questo modo promette tre vantaggi concreti rispetto a HBM4e commerciale: fino al 30% di banda in più, consumi ridotti del 15% e più spazio utile sul chip per aumentare le risorse di calcolo.
NVHBM nasce per liberare spazio sul chip e accelerare i carichi AI
NVHBM entra nel pacchetto tecnologico di NVLink Fusion, il programma con cui Nvidia fornisce ai partner gli elementi necessari per collegare chip personalizzati a un dominio NVLink esteso. L’obiettivo è costruire sistemi in cui più processori separati lavorano come una piattaforma unica, sul modello delle future infrastrutture rack-scale della famiglia Vera Rubin.
Per arrivare a questo risultato, Nvidia usa un base die HBM personalizzato e un’interfaccia fisica più compatta da integrare nel progetto del cliente. La scelta di trasferire il memory controller nello stack HBM riduce l’area occupata dalla logica legata alla memoria sul silicio principale.
C’è anche un vantaggio lato packaging. Nei progetti avanzati con più die collegati tra loro, una parte della complessità passa dall’instradamento dei segnali sull’interposer. Con NVHBM questa fase può diventare più semplice, aspetto che conta soprattutto quando i partner devono scalare chip molto complessi verso configurazioni di fascia alta.
Più banda e meno consumi sono i due numeri da seguire con maggiore attenzione
Per gli acceleratori AI, la banda memoria è uno dei colli di bottiglia più evidenti, soprattutto quando devono spostare grandi quantità di pesi del modello e strutture come la KV cache. Nvidia indica per NVHBM un incremento fino al 30% per stack rispetto a HBM4e standard: nei carichi limitati dalla memoria, questo può tradursi in più throughput e in una generazione di token più rapida nelle applicazioni di inferenza.
L’altro dato rilevante è l’efficienza energetica. Nvidia parla di un assorbimento inferiore del 15% rispetto agli stack HBM4e commerciali. In sistemi composti da centinaia o migliaia di chip, anche un risparmio apparentemente contenuto per singolo acceleratore può diventare significativo sul budget energetico complessivo.
Al momento, però, NVHBM va letto soprattutto come una proposta strategica per i futuri partner di Nvidia più che come un vantaggio immediatamente visibile nei sistemi Rubin già in produzione. L’azienda ha comunque confermato che progettazione e validazione della soluzione sono già state completate insieme a produttori di memoria di primo piano, con l’idea di ridurre tempi e complessità per chi sviluppa chip custom.
Annapurna Labs è il primo partner e guarda alle future piattaforme AWS
Contestualmente all’annuncio, Nvidia ha indicato Annapurna Labs, società del gruppo Amazon, come primo partner di NVHBM. È un passaggio da seguire con attenzione perché conferma l’interesse dei grandi operatori cloud verso componenti memoria sempre più integrati con acceleratori progettati su misura.
Annapurna Labs ha già portato il supporto all’interfaccia di espansione NVLink Fusion sulla prossima generazione del chip AI Trainium 4. Questo lascia intuire che le future iterazioni della piattaforma potrebbero adottare anche NVHBM come parte del design.
