Alibaba publie Fun-CineForge en open source : l’IA qui double les films comme un humain, synchronisation labiale comprise

Introduction : Le doublage cinématographique par IA, c’est l’un de ces problèmes qui semblent simples jusqu’à ce qu’on les regarde de près. Synchroniser précisément les lèvres, conserver le timbre vocal du personnage, transmettre la bonne émotion dans une scène de dialogue à plusieurs locuteurs, même quand un visage est hors champ : autant de défis que les modèles existants résolvaient à moitié. C’est ici qu’intervient Fun-CineForge (vous l’aurez compris).

https://goodtech.info/alibaba-fun-cineforge-open-source-doublage-ia-synchronisation-labiale/