还未开放，Sora怎么就震惊了互联网圈？
还未开放公众测试，OpenAI 凭借文本生成视频模型 Sora 制作的预告片，就把科技圈、互联网、社交媒体圈给震惊了。
根据 OpenAI 官方发布的视频，Sora 能够根据用户提供的文本信息，生成长达 1 分钟的复杂场景「超视频」，不仅画面细节逼真，这个模型还会模拟镜头运动感。
从已释出的视频效果看，业内兴奋的正是 Sora 体现出的理解真实世界的能力。相较其他文本到视频的大模型，Sora 在对语义理解、画面呈现、视觉连贯性和时长上都显示出优势。
OpenAI 直接称它为「世界模拟器」，宣告它能够模拟物理世界中的人、动物和环境的特征。但该公司也承认，目前 Sora 的还不完美，依然存在理解不到位和潜在的安全问题。
因此，Sora 仅对非常少数的人开放测试，OpenAI 尚未公布 Sora 何时会向大众开放，但它带来的震撼足以让研发同类模型的公司看到差距。
Sora「预告片」惊爆众人
OpenAI 文本生成视频模型 Sora 一出，国内又现「震惊体」评价。
自媒体惊呼「现实不存在了」，互联网大佬也吹爆了 Sora 的能力。360 创始人周鸿祎称，Sora 的诞生意味着 AGI 的实现可能从 10 年缩短至两年左右。短短几天，Sora 的谷歌搜索指数迅速拉升，热度直逼 ChatGPT。
Sora 的爆火源于 OpenAI 发布的 48 段视频，其中时长最长的为 1 分钟。这不仅打破了此前文生视频模型 Gen2、Runway 生成视频的时长极限，而且画面清晰，甚至它还学会了镜头语言。
1 分钟视频中，一位身着红裙的女性走在霓虹灯林立的街头，风格写实，画面流畅，最令人惊艳的是女主角的特写，连脸部的毛孔、斑点、痘印都模拟了出来，卡粉脱妆效果堪比直播关掉美颜滤镜，脖子上的颈纹甚至精准「泄露」了年龄，与脸部状态做到了完美统一。
除了对人物写实，Sora 还能够模拟现实中的动物与环境。一段视频维多利亚冠鸽的多角度特写，超清呈现了这只鸟全身至冠的蓝色羽毛，甚至细微到红色眼珠的动态和呼吸频率，让人很难分清这到底是 AI 生成的还是人类拍摄的。
对于非写实的创意动画，Sora 的生成效果也达到了迪士尼动画电影的画面感，让网友担忧起动画师的饭碗。
而 Sora 为文本生成视频模型带来的改进不仅在视频时长与画面效果上，它还能模拟镜头与拍摄的运动轨迹，游戏的第一人称视角，航拍视角，甚至是电影里的一镜到底。
看完 OpenAI 放出的精彩视频，你就能理解互联网圈、社交媒体舆论为什么会为 Sora 感到震惊，而这些只是预告片。
OpenAI 提出「视觉补丁」数据集
那么，Sora 是如何实现模拟能力的？
按照 Open AI 发布的 Sora 技术报告，这个模型正在超越先前图像数据生成模型的限制。
以往的文本生成视觉画面的研究采用过各种方法，包括循环网络、生成对抗网络（GAN）、自回归变换器和扩散模型，但共性是集中在较少的视觉数据类别、较短的视频或固定尺寸的视频上。
Sora 采用了一种基于 Transformer 的扩散模型，生图过程可以分为正向过程和反向过程两个阶段，以实现 Sora 能沿时间线向前或向后扩展视频的能力。
正向过程阶段模拟了从真实图像到纯噪点图像的扩散过程。具体来说，模型会逐步地向图像中添加噪点，直到图像完全变成噪点。而反向过程是正向过程的逆过程，模型会从噪点图像逐步恢复出原始图像。一正一反，虚实来回，OpenAI 以这种方式让机器 Sora 理解视觉的形成。
从全噪点到清晰图的过程
当然，这个过程需要反复地训练学习，模型会学习如何逐步去除噪声并恢复图像的细节。通过这两个阶段的迭代，Sora 的扩散模型能够生成高质量的图像。这种模型在图像生成、图像编辑、超分辨率等领域表现出了优秀的性能。
上述过程解释了 Sora 能做到高清、超细节的原因。但从静态的图像到动态的视频，仍需要模型进一步积累数据，训练学习。
在扩散模型的基础上，OpenAI 将视频和图像等所有类型的视觉数据转换为统一表示，以此来对 Sora 做大规模的生成训练。Sora 使用的表示方式被 OpenAI 定义为「视觉补丁（patches）」，即一种更小数据单元的集合，类似于 GPT 中的文本集合。
研究者首先将视频压缩到一个低维潜空间中，随后把这种表征分解为时空 patch，这是一种高度可扩展的表征形式，方便实现从视频到 patch 的转换，也正适用于训练处理多种类型视频和图片的生成模型。
将视觉数据转化为 patches
为了用更少的信息与计算量训练 Sora，OpenAI 开发了一个视频压缩网络，把视频先降维到像素级别的地低维潜空间，然后再去拿压缩过的视频数据去生成 patches，这样就能使输入的信息变少，从而减少计算压力。同时，OpenAI 还训练了相应的解码器模型，将压缩后的信息映射回像素空间。
基于视觉补丁的表示方式，研究者能对 Sora 针对不同分辨率、持续时间和长宽比的视频 / 图像进行训练。进入推理阶段，Sora 能通过在适当大小的网格中排列随机初始化的 patches 来判断视频逻辑、控制生成视频的大小。
OpenAI 报告，在大规模训练时，视频模型就表现出令人兴奋的功能，包括 Sora 能够真实模拟现实世界中的人、动物和环境，生成高保真的视频，同时实现 3D 一致性、时间一致性，从而真实模拟物理世界。
Altman 当二传手为网友测试
从结果到研发过程，Sora 显示着强大的能力，但普通用户还无从体验，目前只能写好提示词，在 X 上@OpenAI 创始人 Sam Altman，由他作为二传手，帮网友们在 Sora 上生成视频后放出来给公众看效果。
这也不免令人怀疑 Sora 是否真的如 OpenAI 官方展示得那么牛。
对此，OpenAI 直言，目前模型还存在一些问题。如同早期的 GPT 一样，现在的 Sora 也有「幻觉」，这种错误表示在以视觉为主的视频结果上显示地更为具象。
例如，它不能准确地模拟许多基本相互作用的物理过程，例如跑步机履带与人的运动关系，玻璃杯破碎与杯内液体流出的时序逻辑等等。
在下面这个「考古工作者们挖掘出一个塑料椅」的视频片段里，塑料椅直接从沙子里「飘」了出来。
还有凭空出现的小狼崽，被网友戏称为「狼的有丝分裂」。
它有时也分不清前后左右。
这些动态画面中存在的纰漏似乎都在证明，Sora 仍需要对物理世界运动的逻辑去做更多的理解和训练。此外，相比 ChatGPT 的风险，给人直观视觉体验的 Sora 存在的道德、安全风险更甚。
此前，文生图模型 Midjourney 已经告诉人类 「有图不见得有真相」，人工智能生成的以假乱真的图片开始成为谣言要素。身份验证公司 iProov 的首席科学官纽维尔博士就表示，Sora 能让「恶意行为者更容易生成高质量的假视频。」
可想而知，如果 Sora 生成的视频被恶意滥用，搞在欺诈和诽谤、传播暴力和色情上，造成的后果也难以估量，这也是 Sora 让人在震惊之余还会害怕的原因。
OpenAI 也考虑到了 Sora 可能带来的安全问题，这大概也是 Sora 仅对非常少数人以邀请制开放测试的原因。何时会大众开放？OpenAI 没有给出时间表，而从官方释出的视频看，其他公司追赶 Sora 模型的时间不多了。
你可能感兴趣的文章
-
AI概念币种市值已突破120亿美元！Sora热潮下LPT飙涨150%
随着AI成为了热门话题，区块链要如何与之结合也成为投资者关注方向,据Stocklytics.com数据，目前与生成式AI相关的代币市值已超过120亿美元,更多详细关于AI概念币种市值已突…
2024-02-19 -
Sora Ventures投资Bitcoin Magazine 300万！成立首个比特币生态基金
这篇文章主要介绍了Sora Ventures投资Bitcoin Magazine 300万！成立首个比特币生态基金的相关资料,需要的朋友可以参考下…
2023-06-02 -
AI智能体是加密货币的下一个重要催化剂
许多人相信AI智能体可能会在未来几年成为加密货币用户群的大部分,你知道我们总是如何谈论吸引十亿新用户吗？好吧，随着人工智能协议的出现，这十亿用户实际上可能只是AI智…
2024-02-18 -
ApeChain选中Horizen Labs！采用Arbitrum技术开发 主攻游戏
ApeCoin（$APE）社群今日完成了一项投票，决定将ApeChain的开发工作交由Horizen Labs、Arbitrum Foundation和Offchain Labs负责，他们的提案以50.35%的支持率获胜，这表明A…
2024-02-16 -
币安将在2/20下架XMR、MULTI、ANT、VAI！不同时代叙事的终点
币安公告表示，将在2/20上午下架隐私币XMR、跨链桥币MULTI、Aragon(ANT)以及Vai(VAI),更多详细资讯请看下面正文…
2024-02-07 -
Jeremy Grantham：美国经济衰退将至、AI泡沫将破灭、比特币是骗局
在AI热潮的刺激下，美股近来频频创下新高，不过有「价值型投资大师」称号的GMO创办人Jeremy Grantham近日警告，美股已被严重高估，美国经济衰退将至，AI泡沫注定将破灭，同…
2024-02-06 -
BNB Chain展望2024：One BNB策略整合BSC、opBNB、BNB Greenfield
BNB Chain释出2024年发展计划，借由One BNB的整合策略吸引开发者活络生态，以达到用户大规模采用的长期愿景,更多详细资讯请看下面正文…
2024-02-02 -
超越技术的界限：AI+Web3 的未来发展之道
跨越技术边界：AI与Web3的未来融合之路，随着科技的飞速发展，人工智能（AI）与Web3的结合正在开创全新的未来,这种结合不仅超越了单纯的技术层面，更在深层次上改变了我们…
2024-01-29 -
超越技术的界限：AI+Web3的未来发展之道
本篇文章通过10个代表性AI+Web3的项目，洞察2024年AI+Web3的可能十大发展趋势…
2024-01-29 -
拆解ZetaChain：为何说2024是“链抽象”赛道发展大年？
链抽象是指模块化把区块链不同功能层分离成结算层、DA层、执行层、Rollup层等等，最近，跨链互操作性L1公链zetachain发布空投引发了市场对于“链抽象”赛道的关注,如果模块…
2024-01-28
