Dream Machine est l’anti-Sora. Le modèle de génération de vidéos est gratuit et ouvert à tous

Luma AI, une startup de San Francisco, a lancé Dream Machine, un générateur vidéo textuel basé sur l’IA qui il produit des résultats de haute qualité, comme Sora d’OpenAI.

Pour les utilisateurs finaux, la différence la plus importante entre les deux modèles génératifs à l’heure actuelle est que Sora n’a pas encore été rendu public et est utilisé par un cercle restreint de créateurs sélectionnés par OpenAI, tandis que Dream Machine est disponible gratuitement et peut être essayé gratuitement.

Luma AI a révélé que Dream Machine, un modèle de transformateur multimodal, avait été formé directement sur des vidéos. Une fonctionnalité qui, comme Sora d’OpenAI, permet au modèle Luma AI de Générez des séquences avec des images cohérentes et des scènes physiquement précises. « Images cohérentes » signifie que le mouvement inhérent à une vidéo ne montre pas de déformations ou d’imprécisions produites par l’IA entre une image et une autre.

Dream Machine peut être essayée gratuitement par tout le monde, après avoir créé un compte sur le site Web de Luma AI. Le forfait Free propose 30 générations de vidéos par mois. La norme coûte 29,99 $ pour 120 générations mensuelles.

L’utilisation de Dream Machine est similaire à celle des autres modèles génératifs. Vous rédigez une invite descriptive en anglais de la vidéo que vous souhaitez obtenir, pouvoir également joindre une image de référence qui, essentiellement, sera le cadre de départ qui dictera une bonne partie de la prochaine génération.

La génération réelle dure environ 120 secondes et la vidéo produite ne dure que 5 secondes.

Nous avons testé Dream Machine en commençant par l’image d’une femme en tenue de sport courant sur une route vallonnée créée avec un modèle Stable Diffusion. L’invite était la suivante : « Une femme court sur une route en tenue de sport, le fond est un paysage vallonné ».

Nous avons choisi cette génération pour tester la capacité de Dream Machine à maintenir une cohérence entre les images et à évaluer la précision physique des mouvements. Le résultat peut être considéré comme très bon.

Cependant, Luma AI indique que le modèle peut encore avoir des problèmes de morphing (et vous pouvez également le voir dans notre vidéo), de mouvements et de génération de texte.

Dans quelle mesure Dream Machine est-elle sûre ?

La startup n’a pas expliqué l’origine des vidéos utilisées pour la formation, et dans le billet de blog annonçant Dream Machine fait référence au modèle notamment en termes de créativité et comme outil »expressif et suffisamment rapide pour ne laisser aucune limite à votre imagination».

Il ne dit rien sur la sécurité des créations ni sur la possibilité ou non de générer des vidéos au contenu violent ou pour adultes, ni sur les précautions prises pour garantir qu’elles ne soient pas produites. Cependant, dans les conditions générales de ses services, elle impose des limites aux utilisateurs dans l’utilisation de l’IA générative.

Nous avons essayé de générer des vidéos avec des thèmes pour adultes et Dream Machine a refusé d’aller au-delà de l’invite, mais n’a eu aucun scrupule à créer les images d’un « homme taché de sang marchant dans la ville ».. La vidéo ressemble à une scène d’un film d’action dans laquelle le protagoniste montre une large blessure au dos et plusieurs contusions sanglantes sur le visage.

Le Copilot Designer de Microsoft, par exemple, a interrompu la discussion après que nous ayons suggéré de générer une image avec la même invite.

Cependant, il ne fait aucun doute que l’approche ouverte de Luma AI par rapport à Sora, qui peut actuellement être considérée comme le plus gros concurrent (en excluant également le modèle chinois Kling qui est en version bêta fermée), donne à Dream Machine un grand avantage, car une vaste communauté de les créateurs pourront déjà profiter de ce service.

Mise à jour 13/06 10h49 : Ajout d’une référence aux conditions générales d’utilisation des services Luma AI