NVIDIA ha annunciato un nuovo record di efficienza per l’inferenza di DeepSeek V4 sulla piattaforma Blackwell: rispetto al debutto del modello avvenuto circa un mese fa, il costo per singolo token può scendere fino a un quinto.
Il risultato arriva da un lavoro di ottimizzazione dell’intero stack di inferenza, con miglioramenti che toccano sia il costo operativo sia la velocità di elaborazione.
Blackwell riduce il costo per token e spinge l’inferenza di DeepSeek V4
NVIDIA ha indicato il costo per token come uno degli indicatori centrali del costo totale di possesso nell’intelligenza artificiale. Nel caso di DeepSeek V4, la piattaforma Blackwell porta questo valore al livello più basso dichiarato dall’azienda, grazie a un’ottimizzazione completa della catena di inferenza.
Il costo per token misura quanto costa generare o processare un singolo elemento di testo del modello. È un parametro utile perché permette di confrontare in modo diretto hardware, stack software e modalità di distribuzione, soprattutto negli scenari in cui il volume di richieste è molto elevato.
- Riduzione del costo per token fino a 1/5 rispetto alla fase iniziale di DeepSeek V4.
- Ottimizzazione dell’intero stack di inferenza sulla piattaforma NVIDIA Blackwell.
- Costo per token trattato come metrica chiave del costo totale di possesso dell’AI.
Le ottimizzazioni software e di sistema portano fino a 20 volte più throughput per GPU
Sul piano tecnico, NVIDIA attribuisce il miglioramento a tre livelli di intervento: operations di produzione, accelerazione applicativa e accesso all’infrastruttura. L’idea è intervenire non solo sul silicio, ma anche sul modo in cui il modello viene servito, parallelizzato e messo in comunicazione con le risorse disponibili.
Tra le tecnologie citate compaiono il servizio disaggregato, il parallelismo su larga scala per i modelli a esperti, la comunicazione parallela basata su NVLink, la precisione NVFP4 e la previsione multi-token. Combinando questi elementi, Blackwell può aumentare il throughput di token per singola GPU fino a 20 volte.
- Servizio disaggregato per migliorare l’efficienza nell’esecuzione dei carichi di inferenza.
- Parallelismo massivo per architetture a esperti, utile con modelli di grandi dimensioni.
- Comunicazione parallela tramite NVLink per ridurre i colli di bottiglia tra GPU.
- Uso della precisione NVFP4 per ottimizzare prestazioni ed efficienza.
- Previsione multi-token per aumentare la velocità di generazione.
