英伟达最新AI升采样技术可改变游戏光照和材质效果
英伟达在周一的GTC大会上宣布了DLSS 5技术,根据早期反响来看,这将是一个引发争议的更新,一些人称其为"AI垃圾",认为它不可接受地改变了艺术创作意图。英伟达CEO黄仁勋称这是"图形领域的GPT时刻——将手工渲染与生成式AI相结合,在保持艺术家创作表达所需控制力的同时,实现视觉真实感的巨大飞跃"。
在支持DLSS 5的游戏中,该工具可以立即为光照和阴影提供显著改善,但与之前使用机器学习来缩小高低画质设置差距的升采样版本不同,这个版本应用生成式AI重新处理光照和材质,添加了感觉全新的细节。英伟达今天展示的《生化危机:安魂曲》、《星空》、《霍格沃茨遗产》和《EA体育FC》等游戏示例看起来确实更加逼真,但DLSS 5版本的变化看起来与我们在摄影、视频和其他创意领域看到的"AI垃圾"更新类似。
据英伟达介绍,"AI模型经过端到端训练,能够理解复杂的场景语义,如角色、头发、织物和半透明皮肤,以及正面光照、背光或阴天等环境光照条件——所有这些都通过分析单个帧完成。DLSS 5然后利用其深度理解生成视觉精确的图像,处理皮肤次表面散射、织物精致光泽和头发光材质相互作用等复杂元素,同时保持原始场景的结构和语义。"
最显著的影响是DLSS 5似乎对角色模型的外观进行了重大改变。在《安魂曲》的案例中,覆盖在原始资源上的生成式AI让主角Grace Ashcroft看起来完全不同,就像她使用了Instagram滤镜,让嘴唇更饱满,涂抹了浓重的眼影。
它在《星空》中的应用产生了类似诡异的效果,仿佛锐度被调到最大,明亮的高光让角色的面部特征和头发看起来像舞台灯光效果,尽管他们站在没有这种光照的环境中。英伟达引用贝塞斯达游戏工作室总监托德·霍华德的话说:"当英伟达向我们展示DLSS 5并让它在《星空》中运行时,看到它如何让游戏焕发生机真是令人惊叹。我们已经体验过了,迫不及待想让所有人都试试。"
DLSS 5可以在高达4K分辨率下实时运行,虽然它肯定会满足一些期待在更多游戏中看到照片级真实感的玩家和开发者,但这种效果并不适合所有人。游戏开发者Mike Bithell写道:"当你绝对、肯定地不希望在游戏体验中有任何艺术指导时使用。看到有人认真对待这种荒谬的东西令人失望。真是一团糟。"
不过,英伟达表示它为游戏开发者提供了控制选项,让他们决定DLSS 5如何影响游戏外观,因此到它正式发布时,游戏内效果可能与我们现在看到的不同。
英伟达表示,DLSS 5通过两种方式尊重艺术创作意图:
将游戏每帧的颜色和运动矢量输入模型,将输出锚定在源3D内容中。通过为开发者提供详细控制选项,如强度和颜色分级。艺术家可以使用这些控制来调整混合、对比度、饱和度和伽马值,并确定在何处以及如何应用增强效果以保持游戏独特的美学风格。开发者还可以遮罩特定对象或区域,使其不受增强效果影响。
DLSS 5将于今年秋季推出,目前仅确认与精选游戏兼容,除了前面提到的游戏外,还包括《上古卷轴VI:湮灭重制版》和《刺客信条:影》等大作。
Q&A
Q1:DLSS 5与之前版本有什么不同?
A:DLSS 5与之前版本的主要区别是它应用生成式AI重新处理游戏的光照和材质,添加全新细节,而不是像之前版本那样仅使用机器学习来缩小高低画质设置的差距。它能够理解复杂场景语义并生成视觉精确的图像。
Q2:DLSS 5会改变游戏角色的外观吗?
A:是的,DLSS 5会对角色模型外观进行显著改变。例如在《生化危机:安魂曲》中,主角Grace Ashcroft看起来完全不同,像使用了滤镜效果。在《星空》中,角色面部特征和头发会有舞台灯光般的明亮高光效果。
Q3:开发者能控制DLSS 5的效果吗?
A:能够。英伟达为游戏开发者提供了详细的控制选项,包括强度和颜色分级调整。艺术家可以调整混合、对比度、饱和度和伽马值,决定增强效果的应用位置和方式,甚至可以遮罩特定对象或区域使其不受影响。
好文章,需要你的鼓励
Converge Bio完成550万美元种子轮融资,由TLV Partners领投。该公司专为生物科技和制药行业打造LLM应用平台,提供数据增强、模型微调及可解释性分析等功能,帮助企业将通用生物基础模型转化为可实际落地的研发工具。以抗体研究为例,平台可将抗体LLM精调至氨基酸级别的结合亲和力预测,并生成优化序列。公司计划用于扩充团队、拓展客户,并发布抗体设计科研论文。
香港大学与哈尔滨工业大学联合发布的这项研究(arXiv:2605.06196)发现,大语言模型在扮演不同社会层级角色时,内部神经网络存在一条清晰的"粒度轴",从普通个人视角延伸至全球机构视角。这条轴是AI角色空间的主导几何方向,可被测量、被跨模型复现,并通过激活引导技术加以操控,为AI社会模拟的可信度评估和角色视角的主动调控提供了新工具。
ChatGPT高级语音模式的创造者Alexis Conneau离开OpenAI后,创办了音频AI初创公司WaveForms AI,并获得由a16z领投的4000万美元种子轮融资。该公司专注于训练自有音频大语言模型,计划于2025年推出与OpenAI、谷歌竞争的AI音频产品。Conneau深受电影《Her》启发,致力于开发具备情感感知能力的语音AI,同时警惕AI伴侣化带来的社会问题,强调技术应服务于人而非取代人际关系。
华盛顿大学研究团队发现,在AI数学推理训练中,将随机拼凑的拉丁文占位词(Lorem Ipsum)添加到题目前,能帮助AI突破"全部答错、训练停滞"的困境,在多个模型上平均提升推理得分2.8至6.2分。研究揭示了有效扰动的两个关键特征:使用拉丁语词汇避免语义干扰,以及保持较低困惑度确保AI能正确理解题目内容。