DeepInfra ha pubblicato nuovi test su carichi di Agentic AI in ambiente produttivo, indicando che la CPU Nvidia Vera può offrire un vantaggio netto rispetto ad altre soluzioni server già sul mercato.
Nel confronto riportato, Vera registra una latenza runc di 29 ms contro i 64 ms della piattaforma Intel Sapphire Rapids, con un risultato pari a circa 2,2 volte più veloce in questo specifico scenario.
I test su Agentic AI mostrano un netto vantaggio per Nvidia Vera
Il dato più interessante riguarda l’esecuzione di carichi Agentic AI in produzione, dove il comportamento della CPU è stato misurato in termini di latenza runc, ciòè il tempo richiesto da un container leggero basato sulle funzionalità del kernel Linux. In questo contesto, Nvidia Vera ha fatto segnare 29 ms, mentre Intel Sapphire Rapids si è fermata a 64 ms.
Tradotto in termini pratici, il margine è rilevante per tutte quelle infrastrutture che devono orchestrare molti task brevi, frequenti e sensibili alla latenza, come gli agenti AI che richiamano strumenti, memoria e modelli in sequenza. È proprio in questi carichi che una CPU ottimizzata può fare la differenza sull’efficienza complessiva della piattaforma.
- Latenza runc Nvidia Vera: 29 ms.
- Latenza runc Intel Sapphire Rapids: 64 ms.
- Vantaggio riportato per Vera: circa 2,2x in questo test.
- Il benchmark è riferito a carichi Agentic AI eseguiti in ambiente produttivo.
Le condizioni del benchmark aiutano a leggere meglio il risultato
Il test è stato eseguito con parametri uniformi per tutti i contendenti: 20 core fisici per esecuzione, un thread per core, singolo nodo NUMA e CPU confinement attivo. Inoltre, le esecuzioni che superavano il budget di core disponibile venivano scartate, così da mantenere il confronto coerente.
Questa impostazione è importante perché riduce il rischio che il risultato venga alterato da configurazioni troppo favorevoli a una singola piattaforma. Resta comunque un benchmark legato a un preciso tipo di workload, quindi va letto come un indicatore molto utile per l’AI agentica più che come una classifica assoluta valida per ogni carico server.
- Ogni run è stata eseguita con 20 core fisici.
- Configurazione con 1 thread per core.
- Utilizzato un singolo nodo NUMA.
- Attivo il CPU confinement per controllare l’allocazione delle risorse.
- Le esecuzioni oltre il budget di core sono state escluse.
Vera punta su architettura dedicata e banda memoria molto elevata
Oltre ai test prestazionali, Vera si distingue per una scheda tecnica costruita esplicitamente attorno ai carichi AI. Nvidia la presenta come una CPU pensata per l’Agentic AI, con 88 core Olympus e una banda memoria LPDDR5X fino a 1,2 TB/s.
Per chi segue l’evoluzione delle piattaforme AI, questo è un passaggio interessante perché conferma che l’ottimizzazione non riguarda soltanto GPU e acceleratori. Anche la CPU torna centrale quando bisogna coordinare inferenza, container, orchestrazione e pipeline complesse con latenze molto basse.
- CPU progettata per carichi Agentic AI.
- Dotazione dichiarata: 88 core Olympus.
- Banda memoria: 1,2 TB/s su LPDDR5X.
