OpenAI ha mostrato i primi risultati pubblici di Jalapeño, il nuovo sistema per l’inferenza AI sviluppato insieme a Broadcom, e i numeri dichiarati puntano direttamente ai sistemi Nvidia di fascia più alta.
Nei test InferenceX di SemiAnalysis, Jalapeño avrebbe superato gli attuali processori di riferimento sia nella gestione dei token per singolo utente sia nel throughput per kilowatt.
Jalapeño nasce per l’inferenza e punta ai sistemi Nvidia GB200 e GB300
OpenAI ha confrontato Jalapeño con le piattaforme Nvidia GB200 e GB300 usando tre modelli diversi: GPT-OSS 120B, DeepSeek R1 e Kimi K2.5 1T. In questo scenario, il nuovo sistema avrebbe completato da 1,5 a 1,9 volte più lavoro AI per watt rispetto alle soluzioni rivali, mentre la latenza end-to-end si sarebbe fermata a circa il 28%-59% di quella registrata dai sistemi di confronto.
La società insiste soprattutto su un punto: con la stessa energia è possibile processare più carichi di lavoro e restituire risposte più rapide. In pratica, Jalapeño viene presentato come una piattaforma capace di reggere sia scenari ad alta densità di utenti sia casi in cui conta una risposta molto veloce, due obiettivi che spesso entrano in conflitto nei sistemi di inferenza su larga scala.
La chiave è nel co-design tra modelli, chip memoria e rete
Jalapeño non viene descritto come un chip isolato, ma come una piattaforma destinata a evolvere su più generazioni. OpenAI spiega di aver coinvolto anche i propri modelli nello sviluppo, con l’obiettivo di progettare insieme software, memoria e hardware fin dall’inizio.
L’ottimizzazione si concentra in particolare sulle fasi di prefill e comunicazione, indicate come due dei principali fattori che rallentano le risposte. OpenAI aggiunge che il sistema è stato progettato per ridurre al minimo lo spostamento dei dati e i ritardi di comunicazione: elementi come la cache KV e altri stati del modello possono restare in locale, mentre risorse di calcolo.
Il rollout sarà graduale, con prime installazioni entro fine anno
Sul fronte della disponibilità, OpenAI ha indicato un piano di adozione prudente. Le prime implementazioni di Jalapeño partiranno entro la fine dell’anno in volumi ridotti, mentre un’espansione più ampia è prevista dal 2027. Non sono stati però comunicati i numeri precisi delle unità che verranno distribuite nel corso del prossimo anno.
Il dato da seguire, più che la sola tabella dei benchmark, è proprio questo: se Jalapeño manterrà sul campo i vantaggi promessi su efficienza e latenza, OpenAI potrebbe ridurre la dipendenza dai tradizionali acceleratori esterni e costruire una base hardware più aderente alle esigenze dei propri servizi AI.
