Xiaomi ha reso disponibile ControlFoley, un modello open source per la generazione controllabile di effetti sonori da video che punta a migliorare sincronizzazione, qualità audio e coerenza semantica. Il progetto nasce per andare oltre il semplice “video con audio”, offrendo un controllo più preciso su cosa si sente e quando si sente.
Il sistema supporta tre modalità: guida testuale per il doppiaggio del video, controllo testuale anche quando testo e immagine non coincidono, e controllo tramite audio di riferimento. Insieme al modello sono stati pubblicati codice, pesi, report tecnico, demo online e una skill pronta all’uso.
ControlFoley unifica tre modalità di generazione audio per i video
ControlFoley è stato progettato come un framework unico per il doppiaggio sonoro dei video, con l’obiettivo di rendere la generazione non solo automatica ma anche controllabile. Le tre modalità coperte dal modello sono TV2A, TC-V2A e AC-V2A: nel primo caso il testo aiuta a precisare il suono da associare al video, nel secondo il testo prevale anche se entra in conflitto con l’immagine.
La parte più interessante è proprio il controllo. Il modello non si limita a “indovinare” il suono più probabile in base alle immagini, ma cerca di rispettare l’intenzione dell’utente, mantenendo però la sincronizzazione con i movimenti del video. È il passaggio chiave da una generazione audio generica a una generazione utile in ambito creativo.
Il modello usa un encoder dedicato per il tempo e il suono
Per gestire meglio il rapporto tra immagini, testo e audio, il team ha introdotto e addestrato un encoder audiovisivo spazio-temporale chiamato CAV-MAE-ST. L’obiettivo è rafforzare la comprensione di eventi sonori, ritmo dei movimenti e corrispondenza temporale tra ciò che accade nel video e il suono che deve apparire.
Nel caso del controllo testuale, il problema principale è che la componente visiva tende a dominare. Qui ControlFoley cerca di bilanciare meglio le informazioni, così il modello può seguire l’indicazione scritta anche quando la scena suggerirebbe altro.
Nei test il modello supera altri sistemi open source su più benchmark
Su VGGSound-Test, Kling-Audio-Eval e MovieGen-Audio-Bench, ControlFoley ha ottenuto risultati di punta tra i modelli open source nelle attività di video sound generation. I miglioramenti riguardano tre aspetti che contano davvero in questo ambito: allineamento semantico, sincronizzazione temporale e qualità del suono.
Il confronto interno mostra anche un buon comportamento rispetto a Kling-Foley, sistema commerciale chiuso, soprattutto nei parametri legati all’esperienza finale. Nei casi citati, il modello genera audio più coerente con l’azione sullo schermo e con una migliore resa dei dettagli sonori, riducendo errori come suoni fuori tempo, eventi mancanti o audio poco aderente alla scena.
Codice, pesi e demo sono già disponibili online
Xiaomi ha pubblicato diversi materiali per chi vuole provare o analizzare il progetto: report tecnico, codice su GitHub, pesi del modello su Hugging Face, pagina progetto con demo online e una skill per l’integrazione rapida. Per chi lavora con AI generativa applicata al video, è una base già pronta da testare.
Il rilascio è interessante soprattutto perché non si tratta di una demo chiusa, ma di un ecosistema abbastanza completo per sperimentare subito con la generazione di effetti sonori controllabili. In un mercato in cui molti strumenti restano proprietari, la disponibilità open source aumenta il valore pratico del progetto.
