Alors que les passionnés de technologie (et pas seulement) attendent le lancement prolongé de Sora, l’intelligence artificielle capable de générer des vidéos photoréalistes est déjà arrivée et est disponible via deux « concurrents » directs de l’outil OpenAI : en juin 2024, en effet, deux modèles d’IA ont déjà publié et pouvant être utilisé par les utilisateurs qui contestent celui de Sam Altman et de ses associés. Nous parlons avant tout de Machine à rêves Lumaqui peut déjà être utilisé dans notre région en se connectant avec un compte Google, mais aussi pour IA Kling.
En attendant de découvrir le potentiel de Sora, voici ce qui peut déjà être fait avec l’Intelligence Artificielle dans le domaine de la génération vidéo.
De Luma Dream Machine à Kling AI
Luma Dream Machine se présente comme un service qui promet de générer Vidéo de 5 secondes avec des mouvements fluides et des scènes cinématographiques. L’objectif est le photoréalisme, même s’il existe encore des limites dans ce sens.
Outre le fait que Sora d’OpenAI sera capable de générer des vidéos d’une durée allant jusqu’à une minute, donc beaucoup plus longue que Dream Machine, il convient de noter que nous sommes encore dans une phase expérimentale de ces solutions texte-vidéo.
Les développeurs de Dream Machine eux-mêmes mettent en garde contre des problèmes potentiels liés, par exemple, à la génération d’éléments de texte dans la vidéo, ainsi que des erreurs de mouvement qui peuvent être rencontrées avec certaines invites. Ceci sans parler du hallucinations, par exemple ceux relatifs à la transformation « à la volée » d’un objet en un objet non sollicité. Malgré la présence de limitations de ce type, ce qui est surprenant est le fait que Dream Machine est un service gratuit qui vous permet de générer jusqu’à 30 vidéos filigranées par mois.
Le service offre également la possibilité de payer un abonnement pour supprimer les limitations, c’est donc une avancée importante par rapport aux solutions déjà connues telles que Kaiber.aiqui n’offrent qu’un premier essai gratuit rapide.
De plus, Dream Machine se présente comme un Le rival de Soraconsidérant que l’objectif visé est de générer des vidéos photoréalistes.
Tout cela est intéressant, mais comment ça marche en pratique ? Après vous être connecté avec votre compte Google, la barre où vous pouvez saisir votre commande de texte apparaît immédiatement à l’écran : dans ce champ, vous pouvez saisissez du texte ou téléchargez une image de référence pour animer. Le conseil est de laisser l’option activée Améliorer l’inviteafin de permettre au service d’améliorer l’invite afin d’avoir de meilleures chances d’obtenir un résultat à la hauteur des attentes.
Lors de notre test, réalisé dès les premiers instants où la nouvelle de la sortie du modèle d’IA se répandait, nous avons dû faire la queue un moment pour que les vidéos soient générées. Cela est dû à une forte demande, mais vous serez peut-être intéressé de savoir que la génération réelle d’une vidéo IA à l’aide de Dream Machine prend 120 secondes.
Quoi qu’il en soit, pour notre premier test, nous avons utilisé une invite en anglais, demandant à l’IA d’imaginer une vidéo d’un blogueur tapant sur l’ordinateur devant le Colisée en buvant une boisson fraîche. Le résultat, une fois la phase terminée Rêver, c’était intéressant, mais il y avait quelques imprécisions au niveau des mouvements et surtout de la reproduction des mains. Après avoir réalisé quelques tests génériques, nous avons souhaité aller plus loin en essayant de taper une invite en italien : “un panda défilant sur le tapis rouge saluant les photographes“. Une fois la phase de Rêve terminée, le résultat a répondu correctement à nos demandes. Vous pouvez retrouver la vidéo générée par Luma Dream Machine sur ce lien. Il y a pas mal d’imperfections, en partant du fait qu’au lieu d’une simple salutation, ce qui se passe dans la vidéo, c’est que la main du panda devient une sorte d’appareil photo avec lequel l’animal commence à prendre des photos. Ce n’est qu’un des problèmes : par exemple, lorsque le bras avec la caméra est abaissé, la patte devient une main, tandis qu’en regardant derrière le panda, vous remarquez un problème de morphing, c’est-à-dire la transformation indésirable des personnes en arrière-plan. Comme mentionné précédemment, le service est encore en phase expérimentale.
Bien que le modèle d’IA ne semble pas “penser” directement en italien, réalisant ainsi une traduction “en coulisses” de l’italien vers l’anglais, comme vous pouvez le voir clairement il est déjà possible, en effet, d’utiliser des invites dans notre langue pour obtenir des résultats potentiellement intéressants. Vous pourriez donc être intéressé à utiliser votre créativité pour générer les scénarios les plus disparates, étant donné que le modèle est déjà ouvert et accessible à tous.
Cependant, si vous souhaitez mieux comprendre à quel point ces modèles peuvent halluciner, notamment avec des invites en italien, vous pourriez être intéressé de jeter un œil aux tests ratés relatifs au gameplay d’un soulslike se déroulant à Milan et au chien avec le Drapeau italien courant dans une ville cyberpunk.
Le dessin du lapin dans une forêt est plus intéressant, mais vous l’aurez compris il y a encore du chemin à parcourir (même si beaucoup de choses sont également liées à la capacité de fournir des invites efficaces au service, comme c’est le cas avec tout service d’IA qui se respecte).
Au-delà de Dream Machine, cette période voit également le lancement de Kling AI, un autre modèle d’intelligence artificielle qui vise à créer des vidéos photoréalistes.
L’aspect le plus intéressant de cet autre outil est qu’il peut générer jusqu’à 2 minutes de vidéo 1080p à 30 ips. Le géant chinois de la technologie est derrière le projet Technologie Kuaishou et l’objectif est de simuler avec précision la physique du monde réel. Ce modèle est actuellement disponible sur liste d’attente en Chine et nous ne savons pas s’il sera également disponible chez nous, mais certainement le mois de juin 2024 a apporté avec lui des nouveautés notables en termes de génération de vidéos d’IA photoréalistes.
