界面新闻记者 |
界面新闻编辑 | 文姝琪
在OpenAI的“12 Days of Christmas”12天连更计划的第3天,视频生成大模型Sora终于正式登场。
今年2月16日,OpenAI首次向外界展示了Sora的存在。据其介绍,Sora可以直接输出长达60秒的视频,并且包含高度细致的背景、复杂的多角度镜头,以及富有情感的多个角色。OpenAI在官网上公布了数十个视频demo,并不断在社交平台X上放出由Sora生成的视频。这些内容被集合推送至OpenAI的TikTok账号上,短短5天内便获得了51.3万次赞,粉丝数也涨至10.6万。
尽管“多模态模型”并不新鲜,文本到视频的模型也此前已存在,但从OpenAI公布的视频中可以看到,Sora可以生成的视频长度和准确性完全颠覆了市场上现有产品的表现,堪称史上最强文生视频产品。
Sora不仅为OpenAI带来了大量粉丝,也让其估值进一步提升。不过,当时这家公司表示,Sora在短期内不会向大众开放,因为其“技术仍存在一些缺陷,包括一些空间问题”。
在将近10个月之后,万众瞩目下,Sora终于在此次系列发布中重磅登场。
OpenAI表示,2月发布Sora之后,团队开发了其新版本Sora Turbo,其性能有了显著进步,即日起该版本将作为独立产品提供给ChatGPT Plus和Pro用户。
在价格上,20美元一个月的ChatGPT Plus用户,每月可以生成最多50个视频,分辨率最高为720p,时长为 5 秒;每月200美元的ChatGPT Pro用户,每月最多可以生成500个视频,可以同时生成五个视频,时长20秒,分辨率最高为1080p,并可下载无水印视频。
Sora Turbo可以生成最长达20秒的视频,最高1080p清晰度,有宽屏、竖屏、方屏比例可选。在生成模式上,除了基础的文本转视频 (Text-to-Video)模式,还有文本+图像转视频 (Text+Image-to-Video)模式,利用图像辅助Sora理解用户的创作意图,以及融入特定图像元素;以及文本+视频转视频 (Text+Video-to-Video)模式,用户可以上传已有的视频,并结合文本描述来对其进行修改或扩展。
此外,Sora Turbo还有多种视频编辑工具,包括替换、删除或重新构想视频中的元素;找到并隔离最佳帧,然后向任一方向延伸它们以完成场景;使用Loop剪辑并创建无缝重复的视频以及一个名为Storyboard的选项,用户可以通过它详细描述希望视频在不同时间点发生的内容,从而更好地指导一系列片段的生成。
目前,http://sora.com网站已经上线,美国及其他市场的ChatGPT付费用户可以通过该网站开始使用Sora,但在欧洲大部分地区和英国还需要一段时间才能使用,中国用户依然受限。
不过,由于实在是太火爆,Sora网站一度被挤到崩溃,OpenAI CEO山姆·奥特曼(Sam Altman)表示:“由于需求超出预期,我们将不得不间歇性地关闭新用户注册,并且生成内容的速度会在一段时间内减慢。”
在技术路线上,目前,业界普遍猜测Sora的成功延续了OpenAI的Scaling law法则,即通过海量的数据,大量的算力,再加上大参数模型,最终“大力出奇迹”。
OpenAI研究科学家Noam Brown在Sora Turbo发布后表示,Sora是scale力量最直观的展示。山姆·奥特曼则表示,“大家可以将 Sora看作视频版的GPT-1。”
市场预计,Sora的发布会对视频制作领域带来革命性的变化,无论是电影制作、广告、游戏开发还是社交媒体,都可以借助视频生成大模型降低视频创作的门槛,产生新的机遇。
自今年2月首次预告Sora以来,OpenAI便开始与电影制片厂、媒体高管以及经纪公司展开会谈。OpenAI还允许一些艺术家、知名演员和导演试用该服务。
OpenAI还表示,Sora是一项理解和模拟现实的基础性AI技术,是开发能够与物理世界互动模型的重要一步。
OpenAI发布Sora之后,国内互联网大厂和大模型公司纷纷跟进视频大模型这一赛道,包括字节跳动、快手,今年发布视频生成模型的公司还包括阿里云、Minimax、生数科技、智谱AI等公司。就在最近,腾讯混元大模型也宣布上线视频生成能力,正式加入竞争激烈的视频生成赛道。
不过,视频生成模型领域虽然看起来火热,也面临着非常严峻的挑战。近日,百度CEO李彦宏称“百度不做Sora”的演讲被媒体曝光,李彦宏在内部讲话中称,Sora这种视频生成模型的投入周期太长,10年、20年都可能拿不到业务收益,无论多火爆,百度都不去做。
界面新闻从一位负责视频生成模型的技术人士处了解到,生成式AI技术正大幅降低视频生成的门槛,导致视频数据以20倍左右的速度增长,对计算成本和效率提出了严峻的挑战。以Sora模型为例,其训练和推理所需的算力需求分别达到了GPT-4的4.5倍和近400倍。
中国银河证券研究院的报告也显示,Sora对算力需求呈指数级增长。其根据Sora参数规模推演出的训练单次算力需求或可达到2.6×10^24Flops,相当于GPT-3175B的8.2倍。目前Sora还在初级阶段,伴随不断迭代调优,其训练数据集规模将进一步增大,未来算力需求也会大幅增加。
上述技术人士还表示,在编解码层和框架层,视频生成模型也面临着诸多挑战。一方面是效率的问题,另一方面是在计算需求日益增长的情况下,能否灵活处理越来越复杂的需求。
这些都对视频生成模型形成巨大考验,但其在商业化上的形势仍然不够明朗,一定程度上使训练和推理成本上的挑战更为严峻。
视频生成模型同时还面临着安全方面的挑战。OpenAI表示,为了防止被滥用,用Sora生成的视频会带有C2PA元数据,表明这些视频是AI生成的。在上传图像和视频之前,OpenAI还会要求用户同意使用协议,包括不得上传18岁以下未成年的照片、色情或暴力内容、受版权保护的内容。一旦被发现上传违禁内容,账号会被关停。
发表评论