ByteDance prépare une IA vidéo spatiale destinée à générer des environnements visuels cohérents en temps réel. Après Seedance, le groupe derrière TikTok veut ainsi franchir une nouvelle étape : passer de la création de vidéos à celle de mondes numériques interactifs.
L’IA vidéo spatiale de ByteDance vise le temps réel
L’IA vidéo spatiale en préparation chez ByteDance ne chercherait plus seulement à fabriquer une succession d’images crédibles. L’objectif serait de générer des scènes capables de conserver leur cohérence dans l’espace pendant que l’utilisateur interagit avec elles.
Cette différence est fondamentale.
Un générateur vidéo classique reçoit par exemple une consigne demandant de montrer une personne traversant une maison. Il produit ensuite une séquence correspondant au prompt.
Un modèle spatial doit aller plus loin. Il doit comprendre implicitement où se trouvent les murs, les meubles et les différents objets. Si la caméra tourne puis revient au même endroit, l’environnement doit rester cohérent.
Le temps réel ajoute une difficulté supplémentaire. Au lieu d’attendre la génération complète d’une séquence, l’utilisateur pourrait influencer le déplacement ou l’évolution de l’environnement au fur et à mesure.
Cette approche rapproche les modèles vidéo des « world models », des systèmes capables de représenter et de simuler un environnement.
ByteDance entrerait ainsi sur un terrain où plusieurs laboratoires cherchent déjà à combiner génération vidéo, compréhension 3D et interaction. Des travaux récents montrent notamment comment une mémoire 3D persistante peut permettre à un modèle de conserver la cohérence d’un environnement lorsque la caméra parcourt puis revisite différentes zones.
Seedance a préparé le terrain
ByteDance ne part pas de zéro. Son modèle Seedance 2.0, lancé en février, a déjà considérablement renforcé ses capacités dans la vidéo générative.
Seedance 2.0 accepte du texte, des images, de l’audio et des vidéos comme références. Son architecture génère conjointement l’image et le son et permet d’utiliser jusqu’à neuf images et trois clips vidéo comme éléments de référence.
Le modèle s’est rapidement fait remarquer pour sa capacité à produire des séquences complexes et cinématographiques. Lors de son lancement, ses démonstrations étaient devenues virales en Chine et avaient attiré l’attention jusque dans la Silicon Valley.
Les générations actuelles restent cependant principalement des vidéos à regarder.
La vidéo spatiale ouvre une perspective différente. Le spectateur pourrait progressivement devenir acteur de la scène générée.
Les travaux de ByteDance montrent déjà cette évolution. Seedance 2.5 peut produire des données vidéo synthétiques destinées à entraîner la perception et les capacités de manipulation de robots.
Le passage vers une représentation plus fine du monde physique intéresse donc autant le divertissement que la robotique.
Jeux vidéo, réalité virtuelle et robots en ligne de mire
Les applications potentielles dépassent largement TikTok.
Dans le jeu vidéo, une IA vidéo spatiale suffisamment rapide pourrait générer des environnements au fur et à mesure de l’exploration. Les développeurs n’auraient plus nécessairement à concevoir manuellement chaque décor avant que le joueur puisse le parcourir.
La réalité virtuelle et augmentée constitue un autre débouché. Des lunettes pourraient un jour afficher des environnements générés qui réagissent immédiatement aux déplacements de leur utilisateur.
La robotique représente un troisième marché. Un modèle capable de comprendre les relations spatiales entre objets peut produire des simulations permettant d’entraîner des robots avant leur confrontation au monde réel.
Mais plusieurs obstacles restent considérables.
Une vidéo peut tolérer quelques incohérences fugitives. Un monde interactif beaucoup moins. Une porte qui change de position lorsque l’utilisateur se retourne ou un objet qui disparaît suffit à briser l’illusion.
La vitesse pose également problème. Générer des images de haute qualité demande énormément de puissance de calcul. Le faire en continu tout en maintenant la géométrie d’une scène rend le défi encore plus coûteux.
ByteDance dispose néanmoins de moyens importants pour tenter de le résoudre. Le groupe vient d’obtenir un prêt de 29,6 milliards de dollars, dont une part importante doit soutenir ses investissements dans l’IA, les puces et les centres de données.
La bataille de la vidéo générative pourrait donc bientôt changer de nature. Après avoir cherché à produire le clip le plus réaliste à partir d’un prompt, les géants de l’IA veulent désormais créer des espaces dans lesquels l’utilisateur peut évoluer.
Si ByteDance réussit ce passage au temps réel, son IA vidéo spatiale ne servira plus seulement à générer des vidéos. Elle pourrait devenir une technologie permettant de construire des mondes numériques à la demande.
