周四,Inception Labs 发布了 Mercury Coder,这是一款采用扩散技术生成文本的新型 AI 语言模型。与传统的逐字生成文本的模型(如 ChatGPT 所使用的)不同,Mercury 这类基于扩散的模型能够同时产生完整的响应,将初始遮蔽状态逐步优化成连贯的文本。
传统大语言模型使用"自回归"技术,从左到右一次生成一个 token。每个词都必须等待前面所有词生成后才能出现。受 Stable Diffusion、DALL-E 和 Midjourney 等图像生成模型的启发,LLaDA (由人民大学和蚂蚁集团的研究人员开发) 和 Mercury 等文本扩散语言模型采用了基于遮蔽的方法。这些模型从完全遮蔽的内容开始,通过逐步"去噪",同时显示响应的所有部分。
虽然图像扩散模型对像素值添加连续噪声,但文本扩散模型无法对离散 token (文本数据块) 应用连续噪声。相反,它们使用特殊的遮蔽 token 来替代文本,作为噪声的等效物。在 LLaDA 中,遮蔽概率控制噪声水平,高遮蔽代表高噪声,低遮蔽代表低噪声。扩散过程从高噪声过渡到低噪声。尽管 LLaDA 使用遮蔽术语而 Mercury 使用噪声术语,但两者都将类似的概念应用于基于扩散的文本生成。
与创建图像合成模型类似,研究人员通过训练神经网络处理部分遮蔽的数据来构建文本扩散模型,让模型预测最可能的补全内容,然后将结果与实际答案进行比较。如果模型预测正确,导致正确答案的神经网络连接会得到强化。经过足够多的示例后,模型就能生成足够准确或合理的输出。
据 Inception Labs 称,由于其方法不局限于仅考虑先前生成的文本,因此模型可以优化输出并纠正错误。这种并行处理使 Mercury 在 Nvidia H100 GPU 上实现了每秒超过 1,000 个 token 的生成速度。
这些扩散模型保持着比同等规模的传统模型更快或相当的性能。LLaDA 的研究人员报告称,他们的 80 亿参数模型在各种基准测试中表现与 LLaMA3 8B 相似,在 MMLU、ARC 和 GSM8K 等任务上取得了具有竞争力的结果。
然而,Mercury 声称在速度上有显著提升。他们的 Mercury Coder Mini 在 HumanEval 上得分 88.0%,在 MBPP 上得分 77.1%—与 GPT-4o Mini 相当—同时据报告运行速度达到每秒 1,109 个 token,而 GPT-4o Mini 为每秒 59 个 token。这表明在保持相似编码基准性能的同时,速度优势约为 GPT-4o Mini 的 19 倍。
Mercury 的文档指出,其模型在 Nvidia H100 上运行速度"超过每秒 1,000 个 token,这种速度此前只能通过 Groq、Cerebras 和 SambaNova 等专业硬件提供商的定制芯片实现"。与其他优化速度的模型相比,其优势仍然显著—Mercury Coder Mini 据报告比 Gemini 2.0 Flash-Lite (每秒 201 个 token) 快约 5.5 倍,比 Claude 3.5 Haiku (每秒 61 个 token) 快 18 倍。
开启大语言模型的新前沿
扩散模型确实需要权衡取舍。与传统模型每个 token 只需一次网络前向传递不同,它们通常需要多次前向传递才能生成完整响应。但由于扩散模型并行处理所有 token,尽管有这种开销,它们仍能实现更高的吞吐量。
Inception 认为,速度优势可能影响代码补全工具(即时响应可能影响开发者生产力)、会话 AI 应用、移动应用等资源受限环境,以及需要快速响应的 AI 代理。
如果基于扩散的语言模型在提高速度的同时保持质量,可能会改变 AI 文本生成的发展方向。到目前为止,AI 研究人员对新方法持开放态度。
独立 AI 研究员 Simon Willison 告诉 Ars Technica:"我很高兴看到人们在尝试 Transformer 之外的替代架构,这再次说明我们对大语言模型的探索才刚刚开始。"
前 OpenAI 研究员 Andrej Karpathy 在 X 上写道:"这个模型有可能与众不同,可能展示出新的、独特的心理特征,或新的优势和劣势。我鼓励大家尝试使用它!"
关于更大的扩散模型是否能够匹配 GPT-4o 和 Claude 3.7 Sonnet 等模型的性能,以及这种方法是否能够处理日益复杂的模拟推理任务,仍有待观察。目前,这些模型为小型 AI 语言模型提供了一种不牺牲性能换取速度的替代方案。
好文章,需要你的鼓励
法国人工智能公司Mistral AI宣布完成17亿欧元(约20亿美元)C轮融资,由荷兰半导体设备制造商ASML领投。此轮融资使Mistral估值从去年的60亿美元翻倍至137亿美元。英伟达、DST Global等知名投资机构参投。作为欧洲领先的AI开发商,Mistral凭借先进的多语言大模型与OpenAI等美国公司竞争,其聊天机器人Le Chat具备语音模式等功能。
腾讯ARC实验室推出AudioStory系统,首次实现AI根据复杂指令创作完整长篇音频故事。该系统结合大语言模型的叙事推理能力与音频生成技术,通过交错式推理生成、解耦桥接机制和渐进式训练,能够将复杂指令分解为连续音频场景并保持整体连贯性。在AudioStory-10K基准测试中表现优异,为AI音频创作开辟新方向。
VAST Data收购了成立仅数月的初创公司Red Stapler,该公司由NetApp资深团队创立。Red Stapler创始人兼CEO Jonsi Stefansson将担任VAST云解决方案总经理,负责超大规模云战略。Red Stapler拥有6名开发人员,开发了跨SaaS交付、API集成、监控等功能的云控制平面和服务交付平台,将加速VAST AI OS在超大规模和多云环境中的部署,深化与全球领先超大规模云服务商的合作关系。
Meta与特拉维夫大学联合研发的VideoJAM技术,通过让AI同时学习外观和运动信息,显著解决了当前视频生成模型中动作不连贯、违反物理定律的核心问题。该技术仅需添加两个线性层就能大幅提升运动质量,在多项测试中超越包括Sora在内的商业模型,为AI视频生成的实用化应用奠定了重要基础。