升级!Sora漫步街头的女人可以跳舞啦!科目三蹦迪多种舞姿停不下来,可精准控制动作

夕小瑶科技说 原创
作者 | 付奶茶
Sora为我们展开了一个充满惊喜的新篇章,同时,Viggle这一模型也吸引了公众的目光,并在推特上迅速走红!

想象一个场景,你仅需用几句话就能让画面活灵活现,无论是让角色跳舞、做后空翻,这些曾经只能在科幻电影中见到的场景现在只需动动手指就能实现~

不同于Sora,Viggle赋予你控制视频主角动作的能力,如同指挥。例如下面视频中的样例,当你下达指令让视频中的女主角进行“空中芭蕾跳跃和旋转”,你将见证她以极其流畅的动作开始跳跃。

Viggle依托于JST-1技术,是第一个拥有实际物理理解能力的模型,能够让任何角色按照你的想象移动。尽管Sora已经展示了巨大潜力,但它在精确控制个体动作的能力上还有所欠缺。而Viggle的出现填补了这一空白。它能够让用户能够根据自己的命令自由操控角色动作。

听起来还不错!让我们一起看看吧~

官方网址
https://viggle.ai/
体验网址
https://discord.gg/5kk5SKwTWd

物理学大脑

Viggle令人惊叹的是它似乎拥有物理学的常识,在视频中的动作基本上都是合乎常理,即使再炫酷的动作也不脱离现实的物理学规律。

而且,你脑海中的任何想象都能变成视频,不论什么角色,什么场景,都能随便搭配,随意换。它让做视频这事儿不再那么死板,更自由、更有趣了。

五种生成模式

在Discord中Viggle提供了一下下五种模式来生成视频:

混合静态图像与动态视频 (mix)

操作方法:上传一张图像和短视频,开启remix模式即可替换视频主体,并保持参考视频中人物的动作。

从文本创建角色视频 (ideate)

操作方法:描述想要创建的角色以及希望角色执行的动作,或者可以从Viggle 提供的动作模板中选择,创建对应的短视频。

为静态角色添加动画 (animate)

操作方法:上传一张具有明确角色的静态图像;以及希望角色执行的动作。

通过文本提示创建并动画化角色 (character)

操作方法:描述角色,从四个结果中选择一张图像以及希望角色执行的动。

重新风格化您的角色并添加动画 (stylize)

操作方法:上传一张具有明确角色的静态图像;描述希望对角色的风格进行的什么样的改变,接下来从四个结果中选择一张图像;然后组合希望执行的动作。

好家伙!怎么stylize模式有种其余四种模式的套娃的感觉!

目前在Viggle的Discord社区中已经可以看到网友们整了各类花活,例如让超级英雄跳科目三:

但是也有人吐槽Viggle在裙子和裤子上有困扰:

使用步骤

接下来,奶茶给大家介绍一下怎么使用Discord中的Viggle生成自己的专属创作视频:

1、进入Viggle AI的官网,点击“Join The Beta”,进入Viggle AI在Discord入驻的频道:

2、在左侧中列举了五种选项,点击一个后开始你的创造:

3、Viggle AI提供了骨骼动画引导的模版,可以将图片快速创建成对应的动态视频:

4、接下来,开启你的创作吧~

结语

Viggle的出世让任何人的想象力都可以通过简单的操作变为视觉艺术,打开了另外一个全新的世界。不管是想让超级英雄跳科目三,还是简单地为静态角色带来生命,都能简单实现。虽然还有一些小瑕疵,如裙子和裤子的区分问题,但这并不妨碍它成为创意和想象力释放的强大工具。欢迎大家试用后和我们一起探讨~

参考资料

 [1]https://twitter.com/imxiaohu/status/1771173928591093940
 [1]https://zhuanlan.zhihu.com/p/687997612

相关推荐

  • GTC 2024 回顾:揭示大模型领域的国内外前沿研究与应用
  • 一文告诉你如何用 Python 操作 ChatGPT
  • 大数据 AI 一体化解读
  • Spring 6 正式“抛弃” feign
  • 10个能用AI来提升收入的方法
  • 董宇辉与戴建业教授同游东湖,“你小子”火了!
  • 工作中最常见的 6 种 OOM 问题
  • 分库分表实战
  • Spring Boot集成zxing实现生成二维码功能
  • Java日志系统历史从入门到崩溃
  • 几种常见的 Kafka 集群监控工具
  • 持续移动开发如何从测试自动化中获益
  • 大模型企业怎么“卷”过 | 直播预告
  • 把大模型装进手机,小米、OPPO、vivo 卷起来了!
  • Stable Diffusion核心团队全部离职!Kimi大面积宕机,月之暗面已扩容5次;Redis不再“开源”引争议 |Q资讯
  • 能玩3D游戏的AI玩家!谷歌新智能体SIMA发布,但水平还在“新手村”
  • 微软围着Copilot 转!首款AI PC能算惊艳吗?网友:9分钟宣传片让人昏昏欲睡
  • Redis“叛逃”开源,得罪了几乎所有人
  • 搭建一个符合大厂标准的Vue3+Ts +Vite脚手架
  • JS官方宣布:通过了groupBy方法的提案!开发效率又提升了~