Sora 背后的大杀器：不仅仅是 DiT...
2024开年，OpenAI 又发布王炸级产品——Sora，这是一款可以根据文本提示词直接生成视频的工具。（文末送sora书籍）
而Sora技术报告中曾引用了一项研究成果——DiT模型，出自谢赛宁与Sora研发负责人之一WilliamPeebles合著的一篇论文《Scalable diffusion models with transformers》。
为了让大家更好的了解sora，这次我还整理了为Sora视频生成模型提供了重要的技术基础的论文合集，论文涵盖了深度学习、强化学习、生成模型、视频预测、3D 场景表示和渲染等多个领域，免费领取。
扫码回复“sora”
领取全部论文合集
01: Scalable diffusion models with transformers
核心思想：提出了一种新的扩散模型架构，称为 DiT，该架构使用Transformer 替换了传统的 U-Net 主干。
作者: William Peebles 和 Saining Xie
02: Unsupervised Learning of Video Representations Using LSTMs
核心思想:提出了一种使用长短期记忆 (LSTM) 网络进行视频无监督学习的方法。
作者: Nitish Srivastava, Elman Mansimov, Ruslan Salakhudinov
03: Recurrent Environment Simulators
核心思想:提出了一种基于递归神经网络 (RNN) 的环境模拟器模型，该模型可以预测环境在未来几百个时间步内的状态。
作者: Silvia Chiappa, Sébastien Racaniere, Daan Wierstra, Shakir Mohamed
04: World Models
核心思想:提出了一种使用生成对抗网络 (GAN) 训练世界模型的方法。
作者: David Ha and Jürgen Schmidhuber
05：Generating Videos with Scene Dynamics
核心思想:提出了一种基于生成对抗网络 (GAN) 的视频生成模型，该模型可以生成具有场景动态的视频。
作者: Carl Vondrick, Hamed Pirsiavash, Antonio Torralba
扫码回复“sora”
领取全部论文合集
06: MoCoGAN: Decomposing Motion and Content for Video Generation
核心思想:
1.提出了一种基于运动和内容分解的视频生成模型 MoCoGAN。
2.该模型可以生成具有逼真运动和内容的视频。
作者: Sergey Tulyakov, Ming-Yu Liu, Xiaodong Yang, Jan Kautz
07: Adversarial Video Generation on Complex Datasets
核心思想:
1.提出了一种基于生成对抗网络 (GAN) 的视频生成模型，该模型可以生成具有复杂场景和动作的视频。
2.该模型可以用于视频编辑、视频合成、视频游戏等领域。
作者: Aidan Clark, Yaser Sheikh, Dhruv Batra
08: Generating Long Videos of Dynamic Scenes
核心思想:
1.提出了一种能够生成长动态场景视频的生成模型，该模型可以捕捉对象运动、视角变化和新内容生成等要素。
2.该模型可以用于视频编辑、视频合成、虚拟现实等领域。
作者: Tim Brooks, Janne Hellsten, Miika Aittala, Ting-Chun Wang, Timo Aila, Jaakko Lehtinen, Ming-Yu Liu
09: VideoGPT: Video Generation using VQ-VAE and Transformers
核心思想:
1.提出了一种基于 VQ-VAE 和 Transformer 的视频生成模型 VideoGPT，该模型可以生成具有逼真视觉效果和流畅运动的视频。
2.该模型可以用于视频编辑、视频合成、虚拟现实等领域。
作者: Wilson Yan, Chenliang Xu, Xiaohua Zhai, Xiaogang Wang
10: Nüwa: Visual Synthesis Pre-training for Neural Visual World Creation
核心思想:提出了一种通用的视觉合成预训练模型 Nüwa，该模型可以用于各种视觉生成任务，例如文本到图像、文本到视频、视频预测等。
作者:Ruiqi Gao、Chenyang Lei、Ming-Yu Liu、Yaser Sheikh、Bo Zhang
因篇幅有限仅展示Sora视频生成模型重要技术基础的论文合集前十篇，扫码回复“sora”获取全部论文合集。
掌握一门新技术，赶上新风口，不仅仅是要吃透论文，更需要学习路上的指路人，这次我邀请了顶会审稿人Season老师，在3月12日晚20:00带大家速通Sora！
直播大纲
1：Sora 的技术路线解读
全新的 diffusion 模型架构
Sora如何表征视频
Sora是如何处理数据的
openAl 和 Sora 成功原因解读
从GAN 到 diffusion 的发展规律和热点
从图像到视频任务的发展规律和热点
讲解前沿视频任务都在研究什么
扫码预约12日晚20:00直播
大咖带你1小时速通Sora
Sora 为啥这么厉害？因为它是一个扩散模型（Diffusion Model），是在大量不同时长、分辨率和宽高比的视频及图像上训练而成的。《扩散模型：从原理到实战》一书对扩散模型的原理与应用有详尽的说明。
扫描下方二维码参与抽奖。抽取60名同学，包邮送出《扩散模型：从原理到实战》！
加课程老师，免费领书
扫码看讲座、领资料、包邮抽图书
图书将在月末统一寄出，感谢同学们的耐心等待。