长期以来,至少从 AI 的角度来看,人们一直在讨论大语言模型的黑盒问题。
人类天性就想要完全理解事物 - 想要看清机器的内部运作机制,无论是时钟、计算器还是机器人。
但在当今世界,有些事物我们无法完全观察。换句话说,某些复杂系统往往难以分析。
探索 AI 的冒险
我正在阅读 Alexander Kruel 在 Substack 上发表的一篇文章,他对 Claude 及其推理能力提出了一些惊人的见解,引用了一个大型团队撰写的有关该模型的一些内部资料。
看看他对这个大语言模型能力的推断中的这一要点:
"Claude 可以说数十种语言 - (它在'大脑'中使用的是什么语言,如果有的话?)"
在我深入探讨大语言模型和语言语法的具体观点之前,我想指出论文作者承认,在以这种方式探索 AI 的意识时,他们是借鉴了传统神经科学和人脑研究的方法。用他们的话说(同样来自十多位作者):
"我们从神经科学领域获得灵感,该领域长期以来一直在研究思维生物的复杂内部机制,我们试图构建一种 AI 显微镜,让我们能够识别活动模式和信息流。仅仅通过与 AI 模型对话能学到的东西是有限的——毕竟,人类(即使是神经科学家)也不完全了解我们自己大脑的运作方式。所以我们要深入内部观察。"
我认为这很贴切:是的,有机人脑确实是"复杂"的 - 这是肯定的。
那么,当你将这个 AI 显微镜应用于模型的行为时,你会看到什么?
以下是作者指出的三点,我认为这些对理解这些模型如何工作至关重要。
思维语言
首先,在研究了 Claude 3.5 Haiku 之后,一些参与该项目的人认为,Claude 有自己的通用"思维语言",这种语言结合了多种世界语言。
他们写道:"我们通过将简单句子翻译成多种语言,并追踪 Claude 处理这些句子时的重叠方式来证明这一点。"
就模型的思维方式而言,这本身就是一个重大发现。我们中的许多人可能会认为它们主要用英语思考。但这种实践探索表明情况并非如此。
例如,研究追踪了英语、中文和法语中"big"或"large"这些词的使用,并进行比较,显示了模型工作中产生这些重叠模式的各个方面。
照亮 Claude 的大脑
这里另一个重要的见解是,人类科学家无法看到 Claude 所做的一切,只能看到一部分。
他们写道:"我们认识到我们当前方法的局限性。即使在简短的提示下,我们的方法也只能捕捉到 Claude 执行的总计算的一小部分,而且我们看到的机制可能会基于我们的工具产生一些不能反映底层模型实际情况的假象。"
还有进一步的解释:
"即使对于只有几十个词的提示,目前需要几个小时的人力才能理解我们看到的电路。要扩展到支持现代模型使用的复杂思维链的数千个词,我们需要改进方法,并且(可能在 AI 的帮助下)改进我们理解所见的方式。"
为什么会这样?为什么人类不能直接读取模型的输出?一种解释是这不是线性编程。在线性编程中,你可以一步一步地观察,看到机器在做的每一件事。但正如我在过去三四年参加的大多数会议和讲座中指出的那样,我们现在已经超越了这个阶段。
探索语言之外
这里有一点与语法关系不大,而是更多地关系到当你观察大语言模型行为时在研究什么。
作为一个典型的例子,作者注意到模型通常会"回避"某些话题或对话方向,除非有什么因素抑制其默认响应,否则会拒绝回答问题。我们知道机器经常被"编程"以确保安全,远离暴力或令人反感的路径,但这似乎又远不止于此,涉及机器"偏好"拒绝某些提示。
了解那个"什么"是什么,什么是刺激因素,将有助于理解机器何时选择回答人类问题。仅此一点就将大大推进人工神经学的研究。
值得再次指出的是,就像我们无法完全理解 AI 在认知上在做什么一样,我们也不能完全理解我们的大脑在认知上在做什么。
所以在观察人类思维和 AI 思维时存在某种对等性。也许我们无法完全理解所有这些数字神经元在做什么是很恰当的。我们能做的是从外部进行观察,通过实践获取信息。
所有这些都为人们现在使用革命性模型的工作提供了信息。随着我们发现更多关于它们能力的信息,能够追踪 AI 思维的"如何"将变得非常有价值。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。