NVIDIA ha annunciato il rilascio di Nemotron-Labs-TwoTower, un nuovo modello AI open source pensato per affrontare uno dei limiti più concreti dei grandi modelli linguistici: la velocità di generazione dei token.
Il progetto adotta una struttura a doppia torre basata su una backbone autoregressiva preaddestrata e punta a migliorare il throughput senza sacrificare troppo la resa finale.
Nemotron-Labs-TwoTower punta ad accelerare la generazione dei token
Nemotron-Labs-TwoTower è descritto come un modello linguistico a diffusione discreta costruito sopra una backbone autoregressiva preaddestrata. L’obiettivo è chiaro: ridurre il collo di bottiglia nella generazione dei token, uno dei punti più delicati quando si cerca di aumentare la velocità operativa dei modelli di grandi dimensioni.
Sul fronte della disponibilità, NVIDIA ha pubblicato i pesi in modalità open source su Hugging Face con licenza NVIDIA Nemotron Open Model License. È un dettaglio importante perché rende il progetto immediatamente interessante per ricerca, sviluppo e sperimentazione su infrastrutture compatibili.
- Nome del modello: Nemotron-Labs-TwoTower.
- Distribuzione dei pesi tramite Hugging Face.
- Licenza dichiarata: NVIDIA Nemotron Open Model License.
- Focus tecnico: aumentare la velocità di generazione dei token nei grandi modelli linguistici.
La struttura TwoTower separa contesto e denoising in due reti distinte
L’elemento distintivo della proposta è proprio l’architettura TwoTower. NVIDIA separa i compiti che nei tradizionali modelli linguistici a diffusione vengono gestiti in modo più accorpato: da una parte la rappresentazione del contesto testuale, dall’altra il processo di denoising.
La prima torre, chiamata context tower, resta congelata e mantiene il contesto autoregressivo del testo. La seconda, dedicata al denoising, viene addestrata per ripulire i blocchi rumorosi. Le due componenti lavorano insieme tramite connessioni di cross-attention strato per strato, così da coordinare contesto e generazione.
- Parametri totali: 60 miliardi.
- Composizione: 30 miliardi per la torre autoregressiva e 30 miliardi per la torre di diffusione e denoising.
- Ogni torre attiva un modello da 3 miliardi di parametri.
- Presenza di 128 esperti instradabili.
I numeri dichiarati parlano di qualità quasi invariata e throughput molto più alto
Nei benchmark complessivi indicati da NVIDIA, l’architettura TwoTower mantiene il 98,7% della qualità rispetto al riferimento considerato, ma aumenta il throughput in esecuzione reale di 2,42 volte. È un compromesso che, almeno sulla carta, rende il progetto particolarmente rilevante per chi cerca inferenza più rapida senza un taglio netto alle prestazioni del modello.
In assenza di un prezzo o di un’offerta commerciale associata, la notizia va letta soprattutto in chiave tecnica e infrastrutturale: più velocità a parità quasi di qualità significa costi computazionali potenzialmente meglio sfruttati e tempi di risposta più competitivi in scenari reali.
- Qualità mantenuta: 98,7%.
- Incremento del throughput in runtime: 2,42x.
- Il vantaggio principale riguarda la generazione dei token, ciòè una delle fasi più sensibili per la reattività del modello.
