ByteDance ha presentato SeedRealtime, un nuovo modello AI nativo audio-video in modalità full duplex pensato per un’interazione continua tra voce, immagini e testo. L’obiettivo è superare la logica delle risposte a turni e avvicinarsi a una conversazione più naturale, in cui il sistema può guardare, ascoltare e parlare in tempo reale.
La novità è già stata distribuita nell’app Doubao, dove può essere provata aggiornando il client all’ultima versione e avviando una chiamata video dalla funzione dedicata. È un passaggio importante perché porta su larga scala un modello multimodale che non si limita a comprendere input diversi, ma li integra in un unico flusso operativo.
SeedRealtime unisce audio, video e testo in un’unica architettura
Il punto centrale di SeedRealtime è l’uso di un’architettura unificata che fonde in modo nativo audio, video e testo. Questo approccio consente al modello di lavorare su flussi multimodali continui, senza trattare i diversi segnali come passaggi separati.
ByteDance descrive questa capacità come una base per l’interazione naturale a pieno spettro. Non si parla quindi solo di riconoscere ciò che viene detto o mostrato, ma di collegare ciò che si vede, ciò che si sente e ciò che viene espresso dal modello all’interno della stessa sequenza conversazionale.
Le tre aree chiave sono comprensione congiunta, iniziativa e ritmo della conversazione
Le novità dichiarate si concentrano su tre aspetti. Il primo è la comprensione congiunta di voce, scena e informazioni temporali. Il secondo è una maggiore capacità proattiva: il modello può percepire cambiamenti nell’inquadratura, come la comparsa di un elemento rilevante, e intervenire spontaneamente con un avviso o integrando strumenti nella risposta.
Il terzo elemento riguarda il ritmo della conversazione, un nodo cruciale per tutti gli assistenti vocali evoluti. SeedRealtime è progettato per capire quando intervenire, quando fare una pausa e quando attendere, limitando le interruzioni fuori tempo.
I test interni mostrano meno errori di timing e l’app Doubao è già aggiornata
Nei test end-to-end con valutazione umana, ByteDance sostiene che i problemi di ritmo nelle conversazioni audio-video si siano ridotti della metà rispetto ai modelli a cascata. Il dato riguarda soprattutto situazioni tipiche come risposte che arrivano troppo presto, interventi in ritardo oppure attivazioni dovute a rumore e chiacchiere in secondo piano.
Dal punto di vista del prodotto, l’aspetto più concreto è la disponibilità già attiva in Doubao. SeedRealtime non resta quindi una demo tecnica, ma entra subito in un servizio consumer esistente.
