3D建模平台Luma AI推出了一款名为Dream Machine的新型文生视频模型,并向所有用户免费开放。Dream Machine不仅支持文本生成视频,还能利用图片作为引导来创造视频内容。其生成的视频在质量、动作一致性、色彩、光影、饱和度和运镜等方面与OpenAI的Sora相媲美。

微信截图_20240613085717.png

Dream Machine的一大技术亮点是支持物理模拟,这使得生成的视频能够更真实地反映物理世界的特性,如重力下落、碰撞和光影变化等。物理模拟在文生视频领域尤为重要,它确保了视频在时间和空间上的连贯性和一致性。

动态模拟和物理一致性是生成高质量视频的核心。这要求模型能够精确模拟物体和场景的运动,以及物体之间的相互作用,如重力、碰撞、摩擦力和空气阻力等。为了实现这一点,文生视频模型通常会使用大量的现实世界视频数据进行学习。

Dream Machine生成的视频案例展示了其出色的效果,尽管由于免费开放导致使用人数众多,生成效率受到影响,但生成的视频质量仍然非常高。例如,有用户生成了一个废墟场景的视频,效果堪比虚幻引擎5的游戏场景;还有用户生成了一辆跑车在高速公路上飞奔的视频,运镜和场景切换非常连贯和流畅。

微信截图_20240613085641.png

与OpenAI的Sora相比,Dream Machine和国内快手发布的“可灵”等产品已经全面开放使用,且在视频质量上不输Sora。这预示着文生视频赛道的竞争将变得更加激烈。