新智元报道
编辑:编辑部同时推出的AI推理微服务NIM,号称能让全世界用上AI。
与此同时,英伟达又为1亿RTX PC用户和开发者,更新了AI应用和工具,直接要让我们快进到AI PC时代:
一台笔记本,Instant ID 15秒就能做出一张影楼级质量的肖像照;
一张RTX 4090D,Stable Diffusion更是达到了8张图/秒的生成速度;
Sora大火之余,英伟达已经在和剪映,共同探索生成式AI在视频制作上的落地;
准备好,一场RTX AI PC的革命之火,已经被引爆。
RTX AI PC革命来袭!
早在2018年,英伟达就已经在探索AI PC的雏形了。
当时,随着RTX技术和首款专为AI打造的消费级GPU(GeForce RTX)的推出,英伟达加速了向AI计算的转变。
在RTX GPU上,这些专用的AI加速器,也就是我们熟知的Tensor Core。即使运行要求极为严苛的工作和娱乐应用,它都能显著加速AI性能,还能让PC用户用上在云端才能运行的新功能。从软硬件到生态加速,英伟达正凭借实力,有力地证明了这一点:RTX就是AI PC的核心。硬件方面,新一代GeForce RTX GPU提供的算力,不仅从200 AI TOPS到1300 AI TOPS全覆盖,还提供了笔记本、台式电脑的多样选择。(TOPS即teraops,万亿次运算/秒)相较之下,没有独立GPU的AI PC,算力仅为10到45 TOPS。软件层面,从2018年到现在,全球搭载英伟达RTX GPU的PC已经有超1亿的用户。
如今,它所加持的领域,已经覆盖了AI绘画、平面设计、视频编辑/体验、3D创作,到AI游戏、游戏开发,再到AI应用开发、文档助手等等。
有了RTX AI,创作者可以专注于创意本身,无需在等待系统加载,乏味的重复性工作上浪费时间。
只用一张RTX 4090D,Stable Diffusion就能在每秒内生成8张图片,迅速让创意成为现实。
NVIDIA TensorRT的引入,彻底改变了游戏规则。
通过8位量化成为当前SD最快的加速方法,最快可达120 imgs/s。(StreamDiffusion)
开启TRT之后,1分钟的视频生成比以往快了足足30秒,效率提升了40%。
以及当前已经支持支持SD 1.5 & 2.1、SDXL、SDXL Turbo、LCM以及Stable Video Diffusion等模型的加速。
另外,CUDA还提供了对LoRA、ControlNet、微调、AnimateDiff、InstantID等模型支持
另外,修图师还可以通过Photoshop快速实现对图片各种细节的处理和编辑。
另外,RTX 40系拥有第八代NVENC AV1编码器,满足了不同工作者对导出视频格式的需求。英伟达还在和国内深受用户喜爱的剪辑软件剪映专业版,共同探索推进生成式AI在PC端的落地。目前,已通过TensorRT推动剪映AI艺术字功能上线,并正在通过RTX AI平台加速生成式AI在剪映产品功能中的应用。
3D创作者通过UE等AI工具,加速3D创作渲染。
生成式3D材质,也可以用RTX AI来加速。
可以在NVIDIA Ominiverse中,通过生成式AI重制物体材质。
AI增强的光追技术,能够让游戏环境更加真实。
更重要的是,开发者们可以为游戏制作支持实时光追、DLSS 3/DLSS 3.5的RTX重制版。
这不,一些玩家、开发者、创意者们,已经开始用上RTX AI了。
DLSS 3.5:游戏体验史诗级提升
如今,《黑神话:悟空》的B站预告片观看数已破228万,网友纷纷追问:这真是实机画面,不是渲染的?
想象一下这个画面:打开搭载 GeForce RTX 显卡的PC,开启支持光线重建技术的NVIDIA DLSS 3.5 和全景光线追踪,接下来,就是一场视觉盛宴。
为什么通过DLSS 3.5呈现的画面如此激动人心?原因在于,它包含了英伟达全新的DLSS光线重建技术(Ray Reconstruction),利用全新统一的AI模型,取代了多个人工设计的光线追踪降噪器。因此,光线追踪效果和全景光线追踪的图像质量,再次得到了史诗级提升。而在《黑神话:悟空》中开启全景光追后,我们就可以更加沉浸式地体验史诗级的游戏场景。可以看到,水面上可以反射出周围所有场景的细节。水的散焦效果,进一步增加了场景的真实感,光的折射和反射效果,都被渲染得更好。
全景光追的全局光照,也让室内外的光照效果更加完美,即使是因被遮挡而无法照亮的较暗区域,也会通过反射光被照亮。
在光照系统的配合之下,无论是接触处的硬化阴影,还是光追带来的柔化阴影,都可以轻松投射到各处。小到叶片和卵石上每一处最小的阴影,大到主角、巨大的怪兽、拥有精致外表的建筑,全部被细致入微地刻画了出来。下面是一波高清大图,请欣赏:
此外,率先将支持DLSS 3.5的,还有在国内外游戏社区中人气超高的国产多人动作竞技端游《永劫无间》。《永劫无间》会在PVP和PVE模式下的三个地图中,添加全景光线追踪,之后也将在更多地图中陆续支持全景光线追踪。更丰富细致的全景光线追踪效果,可以让全局光照、反射、环境光遮蔽和阴影得到全面优化,而DLSS 3.5的光线重建技术,会让这些效果进一步增强。
具体来说,DLSS 3.5通过将人工降噪器替换为英伟达超级计算机训练的AI网络(在采样光线之间生成更高质量的像素),提升了GeForce RTX GPU光线追踪图像的质量。
同时,DLSS 3.5 AI网络的训练数据量也是DLSS 3的5倍,可识别不同的光线追踪效果,从而可使用时间和空间数据做出更明智的决策,并保留高频信息以实现更高质量的图像效果。
此外,光线重建还会从训练数据中识别光照模式,例如全局光照或环境光遮蔽等,并在游戏中重新创建。其最终效果比需要人工设计的降噪器更出色。
而DLSS 3.5除了能够让新游戏带来更好的性能表现和画面效果外,还能让用新技术复刻的老游戏重新焕发光彩。《传送门》RTX版是首款采用NVIDIA RTX Remix打造的游戏,这是一种变革性的Mod工具,可帮助Mod玩家升级和重制经典游戏。现在,《传送门》RTX版也将支持NVIDIA DLSS 3.5,利用AI驱动的光线重建(Ray Reconstruction)技术,提高全景光线追踪的保真度和全局动态照明效果的响应速度。在DLSS 3.5加持之下,GeForce RTX 4090的帧率可提升至原来的6.2倍,GeForce RTX 4080 SUPER的帧率可提升至原来的6.7倍,游戏速度分别能达到100 FPS和70 FPS。除了这些新鲜出炉的游戏大作之外,目前已有超500款游戏和应用支持NVIDIA RTX技术,未来还会有更多大作加入。比如《星球大战™:亡命之徒》:
《战国王朝》:
在封建日本的动荡时期,玩家可以建立并成为自己王朝的主宰
《暗黑破坏神IV》:已经支持DLSS 3,将于3月26日支持光线追踪。
ACE:AI NPC「活了」
它们可以学习和适应,表现也会存在细微差别,有时还会自主发起行动。
针对同一场景,NPC有着丰富的语言表达能力。
具体来说,InWorld引擎集成了NVIDIA Riva自动语音识别技术,可实现精确的语音转换文字。同时NVIDIA Audio2Face提供逼真的面部表情,增强了动画效果。
而在InWorld端,开发人员可以针对每个特定的NPC调整各种参数:个性、知识和认知、目标、场景、安全性、长期记忆。InWorld引擎可以让游戏开发人员,添加更多响应玩家的行为「多模态AI智能体叙事」。它将认知、感知和行为系统集成在一起,在精心制作的环境中呈现令人惊叹的RTX渲染角色,以实现身临其境的叙事效果。 另一家游戏巨头育碧也开始利用Inworld和NVIDIA ACE技术,来探索数字人在游戏中可能性。最具代表性的项目是NEO NPC——让游戏NPC可以自由即兴对话。Inworld的角色引擎和LLM技术,使育碧的叙事团队能为每个NPC建立完整的背景、知识库和对话风格,而NVIDIA ACE技术套件中的NVIDIA Audio2Face则用于实现实时面部动画。育碧通过三个独立技术Demo展示了NEO NPC的功能。每个场景都侧重于NPC行为、环境和上下文意识的不同方面;一系列实时反应和动画;以及连续对话、协作和战略决策。这些实验发现突破了游戏设计和沉浸感的界限。
另外,《诛仙世界》、《浑噩》也将 Audio2Face 加入了开发流程。Audio2Face可以精准生成口型同步,让脚本编写人员更容易为《诛仙世界》添加新配音内容。在医疗行业中,数字助理可以为世界各地的患者提供有用、及时和准确的信息。初创公司HippocraticA创建了由NVIDIA ACE加持的医疗保健智能体,可以给患者打电话,跟进护理协调任务,提供术前指导,执行出院后管理等。
NVIDIA App:一个应用搞定一切
GPU「大一统」控制中心:最优游戏设置 + 驱动配置。
NVIDIA app将GeForce Experience的游戏设定优化功能与NVIDIA控制面板的3D设置整合到一个统一的界面中。玩家能在一个集中的应用中查看修改各种优化选项,同时调整驱动程序设置。玩家可以针对游戏和应用自定义控制中心选项,也可以对所有游戏和应用使用全局配置文件。全新升级的驱动面板:快速查看概要,获取最新驱动信息。
在「驱动程序」页面中,玩家可以快速了解每次驱动更新的重点内容。如果玩家想要查看具体的更新或者是修复细节,也能方便的获取到全部的细节信息。全新的游戏覆盖界面:实时统计数据显示,支持120 FPS ShadowPlay录制。
NVIDIA app还重新设计了游戏中的浮窗,玩家依然可以方便地使用「Alt+Z」快速调出Shadowplay录制工具、Freestyle 游戏滤镜、NVIDIA Highlights、照片模式和性能监控工具。
重新设计的统计信息浮窗,增强了性能监控功能。玩家可以通过多种选项自定义性能浮窗在游戏期间的显示方式,最大限度地减少HUD占用的空间。全新的AI图像滤镜:支持RTX HDR和RTX数字自然饱和度。
借助NVIDIA Freestyle,玩家可以利用实时后处理滤镜为自己喜爱的游戏打造个性化的视觉效果。 由玩家喜爱的Digital Vibrance(数字自然饱和度)功能改进而来的RTX Dynamic Vibrance(RTX数字自然饱和度)可针对每个应用增强视觉清晰度,让玩家能够灵活、方便地调整每个游戏的视觉设置。它不仅能在屏幕上呈现更多颜色,而且可以在不同的颜色之间实现完美平衡,最大限度地避免颜色崩坏,保证图像质量和沉浸感。而RTX HDR是一款新的AI增强Freestyle滤镜,可以将高动态范围 (HDR) 的艳丽视觉效果无缝引入到原本不支持HDR的游戏中。借助RTX HDR滤镜,现在玩家可以利用兼容HDR的显示器畅玩DX12、DX11、DX9和Vulkan平台上运行的大量游戏。NVIDIA app还能让用户方便探索英伟达的各类前沿应用:包括NVIDIA ICAT、NVIDIA Omniverse等。ChatRTX:专属大模型,本地就能跑,还免费开源
想要运行Chat with RTX的要求也非常简单,用户在搭载 NVIDIA GeForce RTX 30 系列或更高版本的 GPU(至少 8GB 显存)进行本地部署,打造个人专属聊天机器人。
目前,Chat with RTX已经可以支持Mistral、Llama2等多款开源模型。但很快,Chat with RTX将增加对语音、图像和新模型的支持。
RTX AI工具:全面加持开发者