OpenAI日前发布首款文生视频模型——Sora模型,完美继承DALL·E 3的画质和遵循指令能力其支持用户输入文本描述,生成一段长达1分钟的高清流畅视频。
该模型可以深度模拟真实物理世界,标志着人工智能在理解真实世界场景,并与之互动的能力方面实现了重大飞跃。
官方公布的生成视频显示,以中国龙年春节为提示词生成的视频中,熙熙攘攘的人群中,有人在舞龙,舞龙动作相当丝滑标准,还有人举起手机拍摄,场景细节丰富、严谨。
另一段“都市丽人”漫步东京雨后街头视频中,路面上的水渍倒影细节逼真,霓虹灯光影效果堪比实景,如果不是标注说明,很多人意识不到这是由AI生成的视频片段。
OpenAI表示,技术团队正在教AI理解和模拟运动中的物理世界,目标是训练模型来帮助人们解决需要现实世界交互的问题。
根据文本提示生成视频,仅仅是整个计划其中的一步。
目前Sora已经能生成具有多个角色、包含特定运动的复杂场景,不仅能理解用户在提示中提出的要求,还了解这些物体在物理世界中的存在方式。
不过,Sora当前也存在局限性,OpenAI称其可能难以准确模拟复杂场景的物理原理,并且可能无法理解因果关系。
该模型还可能混淆提示的空间细节,例如混淆左右,并且可能难以精确描述随着时间推移发生的事件,例如遵循特定的相机轨迹。
即便如此,OpenAI的首个视频模型发布后,不少网友惊呼:“不少人要丢工作了”、“整个素材行业可能都会因此衰落”、“语言大模型后,OpenAI又要一次加快AI进化”。
目前已有一些视觉艺术家、设计师和电影制作人(以及OpenAI员工)获得了Sora访问权限,他们也已开始不断Po出新的作品,为人们展示AI生成视频的无限创意可能。
下附OpenAI视频模型Sora官网:https://openai.com/sora