一、Sora的概念介绍

2024年2月16日，OpenAI发布了“文生视频”（text-to-video）的大模型工具，Sora（利用自然语言描述，生成视频）。

这个消息一经发出，全球社交主流媒体平台以及整个世界都再次被OpenAI震撼了。AI视频的高度一下子被Sora拉高了，要知道Runway Pika等文生视频工具，都还在突破几秒内的连贯性，而Sora已经可以直接生成长达60s的一镜到底视频，要知道目前Sora还没有正式发布，就已经能达到这个效果。

Sora这一名称源于日文“空”（そら sora），即天空之意，以示其无限的创造潜力。

Sora有别于上述AI视频模型的优势在于，既能准确呈现细节，又能理解物体在物理世界中的存在，并生成具有丰富情感的角色，甚至该模型还可以根据提示、静止图像甚至填补现有视频中的缺失帧来生成视频。

二、Sora的实现路径    

Sora的重要意义在于它再次推动了AIGC在AI驱动内容创作方面的上限。在此之前，ChatGPT等文本类模型已经开始辅助内容创作，包括插图和画面的生成，甚至使用虚拟人制作短视频。

而Sora则是一款专注于视频生成的大模型，通过输入文本或图片，以多种方式编辑视频，包括生成、连接和扩展，属于多模态大模型的范畴。这类模型在GPT等语言模型的基础上进行了延伸和拓展。

Sora采用类似于GPT-4对文本令牌进行操作的方式来处理视频“补丁”。其关键创新在于将视频帧视为补丁序列，类似于语言模型中的单词令牌，使其能够有效地管理各种视频信息。通过结合文本条件生成，Sora能够根据文本提示生成上下文相关且视觉上连贯的视频。

在原理上，Sora主要通过三个步骤实现视频训练。

首先是视频压缩网络，将视频或图片降维成紧凑而高效的形式。其次是时空补丁提取，将视图信息分解成更小的单元，每个单元都包含了视图中一部分的空间和时间信息，以便Sora在后续步骤中进行有针对性的处理。最后是视频生成，通过输入文本或图片进行解码加码，由Transformer模型（即ChatGPT基础转换器）决定如何将这些单元转换或组合，从而形成完整的视频内容。

总体而言，Sora的出现将进一步推动AI视频生成和多模态大模型的发展，为内容创作领域带来了新的可能性。

三、Sora的6大优势

《每日经济新闻》记者对报告进行梳理，总结出了Sora的六大优势：

（1）准确性和多样性：Sora可将简短的文本描述转化成长达1分钟的高清视频。它可以准确地解释用户提供的文本输入，并生成具有各种场景和人物的高质量视频剪辑。它涵盖了广泛的主题，从人物和动物到郁郁葱葱的风景、城市场景、花园，甚至是水下的纽约市，可根据用户的要求提供多样化的内容。另据Medium，Sora能够准确解释长达135个单词的长提示。

（2）强大的语言理解：OpenAI利用Dall·E模型的recaptioning（重述要点）技术，生成视觉训练数据的描述性字幕，不仅能提高文本的准确性，还能提升视频的整体质量。此外，与DALL·E 3类似，OpenAI还利用GPT技术将简短的用户提示转换为更长的详细转译，并将其发送到视频模型。这使Sora能够精确地按照用户提示生成高质量的视频。

（3）以图/视频生成视频：Sora除了可以将文本转化为视频，还能接受其他类型的输入提示，如已经存在的图像或视频。这使Sora能够执行广泛的图像和视频编辑任务，如创建完美的循环视频、将静态图像转化为动画、向前或向后扩展视频等。OpenAI在报告中展示了基于DALL·E 2和DALL·E 3的图像生成的demo视频。这不仅证明了Sora的强大功能，还展示了它在图像和视频编辑领域的无限潜力。

（4）视频扩展功能：由于可接受多样化的输入提示，用户可以根据图像创建视频或补充现有视频。作为基于Transformer的扩散模型，Sora还能沿时间线向前或向后扩展视频。

（5）优异的设备适配性：Sora具备出色的采样能力，从宽屏的 1920x1080p 到 竖 屏 的1080x1920，两者之间的任何视频尺寸都能轻松应对。这意味着Sora能够为各种设备生成与其原始纵横比完美匹配的内容。而在生成高分辨率内容之前，Sora还能以小尺寸迅速创建内容原型。

（6）场景和物体的一致性和连续性：Sora可以生成带有动态视角变化的视频，人物和场景元素在三维空间中的移动会显得更加自然。Sora 能够很好地处理遮挡问题。现有模型的一个问题是，当物体离开视野时，它们可能无法对其进行追踪。而通过一次性提供多帧预测，Sora可确保画面主体即使暂时离开视野也能保持不变。

四、Sora存在的缺点

尽管Sora的功能十分的强大，但其在模拟复杂场景的物理现象、理解特定因果关系、处理空间细节、以及准确描述随时间变化的事件方面OpenAI Sora都存在一定的问题。

（1）物理交互的不准确模拟：

Sora模型在模拟基本物理交互，如玻璃破碎等方面，不够精确。这可能是因为模型在训练数据中缺乏足够的这类物理事件的示例，或者模型无法充分学习和理解这些复杂物理过程的底层原理。

（2）对象状态变化的不正确：

在模拟如吃食物这类涉及对象状态显著变化的交互时，Sora可能无法始终正确反映出变化。这表明模型可能在理解和预测对象状态变化的动态过程方面存在局限。

（3）长时视频样本的不连贯性：

在生成长时间的视频样本时，Sora可能会产生不连贯的情节或细节，这可能是由于模型难以在长时间跨度内保持上下文的一致性。

（4）对象的突然出现：

视频中可能会出现对象的无缘无故出现，这表明模型在空间和时间连续性的理解上还有待提高。