Google a récemment dévoilé Lumiere, une intelligence artificielle (IA) capable de créer des vidéos à partir de textes ou d’images. Cette IA utilise un modèle de diffusion spatio-temporelle qui lui permet de synthétiser des vidéos qui présentent un mouvement réaliste, divers et cohérent.
Lumiere peut générer une vidéo à partir d’un texte saisi en langage naturel, comme « un chat qui joue avec une pelote de laine », ou à partir d’une image fixe, comme une illustration ou une photo. L’IA peut également modifier le style d’une vidéo en se basant sur une image de référence, comme un dessin ou une peinture. Par exemple, elle peut transformer une vidéo d’un chien qui court dans un parc en une vidéo d’un chien qui court dans un décor de briques Lego.
Lumiere se distingue des autres IA de génération de vidéos par son architecture innovante, appelée Space-Time U-Net. Ce réseau de neurones génère la durée temporelle entière de la vidéo en une seule fois, au lieu de synthétiser des images clés puis de les interpoler. Ce faisant, il assure une meilleure cohérence temporelle et spatiale de la vidéo. De plus, Lumiere utilise un modèle de diffusion pré-entraîné sur des images fixes, ce qui lui permet de produire des vidéos de basse résolution avec une qualité visuelle élevée.
Les chercheurs de Google Lumiere IA affirment que Lumiere représente un progrès significatif pour le domaine de la synthèse de vidéos, qui a des applications potentielles dans le divertissement, l’éducation, la publicité ou la création artistique. Ils ont publié un article scientifique et un site web qui présentent les détails techniques et les exemples de vidéos générées par Lumiere.
Découvrez d’autres actualités de l’IA sur EspritIA.fr