周四,Inception Labs 发布了 Mercury Coder,这是一款采用扩散技术生成文本的新型 AI 语言模型。与传统的逐字生成文本的模型(如 ChatGPT 所使用的)不同,Mercury 这类基于扩散的模型能够同时产生完整的响应,将初始遮蔽状态逐步优化成连贯的文本。
传统大语言模型使用"自回归"技术,从左到右一次生成一个 token。每个词都必须等待前面所有词生成后才能出现。受 Stable Diffusion、DALL-E 和 Midjourney 等图像生成模型的启发,LLaDA (由人民大学和蚂蚁集团的研究人员开发) 和 Mercury 等文本扩散语言模型采用了基于遮蔽的方法。这些模型从完全遮蔽的内容开始,通过逐步"去噪",同时显示响应的所有部分。
虽然图像扩散模型对像素值添加连续噪声,但文本扩散模型无法对离散 token (文本数据块) 应用连续噪声。相反,它们使用特殊的遮蔽 token 来替代文本,作为噪声的等效物。在 LLaDA 中,遮蔽概率控制噪声水平,高遮蔽代表高噪声,低遮蔽代表低噪声。扩散过程从高噪声过渡到低噪声。尽管 LLaDA 使用遮蔽术语而 Mercury 使用噪声术语,但两者都将类似的概念应用于基于扩散的文本生成。
与创建图像合成模型类似,研究人员通过训练神经网络处理部分遮蔽的数据来构建文本扩散模型,让模型预测最可能的补全内容,然后将结果与实际答案进行比较。如果模型预测正确,导致正确答案的神经网络连接会得到强化。经过足够多的示例后,模型就能生成足够准确或合理的输出。
据 Inception Labs 称,由于其方法不局限于仅考虑先前生成的文本,因此模型可以优化输出并纠正错误。这种并行处理使 Mercury 在 Nvidia H100 GPU 上实现了每秒超过 1,000 个 token 的生成速度。
这些扩散模型保持着比同等规模的传统模型更快或相当的性能。LLaDA 的研究人员报告称,他们的 80 亿参数模型在各种基准测试中表现与 LLaMA3 8B 相似,在 MMLU、ARC 和 GSM8K 等任务上取得了具有竞争力的结果。
然而,Mercury 声称在速度上有显著提升。他们的 Mercury Coder Mini 在 HumanEval 上得分 88.0%,在 MBPP 上得分 77.1%—与 GPT-4o Mini 相当—同时据报告运行速度达到每秒 1,109 个 token,而 GPT-4o Mini 为每秒 59 个 token。这表明在保持相似编码基准性能的同时,速度优势约为 GPT-4o Mini 的 19 倍。
Mercury 的文档指出,其模型在 Nvidia H100 上运行速度"超过每秒 1,000 个 token,这种速度此前只能通过 Groq、Cerebras 和 SambaNova 等专业硬件提供商的定制芯片实现"。与其他优化速度的模型相比,其优势仍然显著—Mercury Coder Mini 据报告比 Gemini 2.0 Flash-Lite (每秒 201 个 token) 快约 5.5 倍,比 Claude 3.5 Haiku (每秒 61 个 token) 快 18 倍。
开启大语言模型的新前沿
扩散模型确实需要权衡取舍。与传统模型每个 token 只需一次网络前向传递不同,它们通常需要多次前向传递才能生成完整响应。但由于扩散模型并行处理所有 token,尽管有这种开销,它们仍能实现更高的吞吐量。
Inception 认为,速度优势可能影响代码补全工具(即时响应可能影响开发者生产力)、会话 AI 应用、移动应用等资源受限环境,以及需要快速响应的 AI 代理。
如果基于扩散的语言模型在提高速度的同时保持质量,可能会改变 AI 文本生成的发展方向。到目前为止,AI 研究人员对新方法持开放态度。
独立 AI 研究员 Simon Willison 告诉 Ars Technica:"我很高兴看到人们在尝试 Transformer 之外的替代架构,这再次说明我们对大语言模型的探索才刚刚开始。"
前 OpenAI 研究员 Andrej Karpathy 在 X 上写道:"这个模型有可能与众不同,可能展示出新的、独特的心理特征,或新的优势和劣势。我鼓励大家尝试使用它!"
关于更大的扩散模型是否能够匹配 GPT-4o 和 Claude 3.7 Sonnet 等模型的性能,以及这种方法是否能够处理日益复杂的模拟推理任务,仍有待观察。目前,这些模型为小型 AI 语言模型提供了一种不牺牲性能换取速度的替代方案。
好文章,需要你的鼓励
zip2zip是一项创新技术,通过引入动态自适应词汇表,让大语言模型在推理时能够自动组合常用词组,显著提高处理效率。由EPFL等机构研究团队开发的这一方法,基于LZW压缩算法,允许模型即时创建和使用"超级tokens",将输入和输出序列长度减少20-60%,大幅提升推理速度。实验表明,现有模型只需10个GPU小时的微调即可适配此框架,在保持基本性能的同时显著降低计算成本和响应时间,特别适用于专业领域和多语言场景。
这项研究创新性地利用大语言模型(LLM)代替人类标注者,创建了PARADEHATE数据集,用于仇恨言论的无毒化转换。研究团队首先验证LLM在无毒化任务中表现可与人类媲美,随后构建了包含8000多对仇恨/非仇恨文本的平行数据集。评估显示,在PARADEHATE上微调的模型如BART在风格准确性、内容保留和流畅性方面表现优异,证明LLM生成的数据可作为人工标注的高效替代方案,为创建更安全、更具包容性的在线环境提供了新途径。
这项研究由中国科学技术大学的研究团队提出了Pro3D-Editor,一种新型3D编辑框架,通过"渐进式视角"范式解决了现有3D编辑方法中的视角不一致问题。传统方法要么随机选择视角迭代编辑,要么同时编辑多个固定视角,都忽视了不同编辑任务对应不同的"编辑显著性视角"。Pro3D-Editor包含三个核心模块:主视角采样器自动选择最适合编辑的视角,关键视角渲染器通过创新的MoVE-LoRA技术将编辑信息传递到其他视角,全视角精修器修复并优化最终3D模型。实验证明该方法在编辑质量和准确性方面显著优于现有技术。
这项研究提出了ComposeAnything,一个无需重新训练的框架,可显著提升AI图像生成模型处理复杂空间关系的能力。该技术由INRIA、巴黎高师和CNRS的研究团队开发,通过三个创新步骤工作:首先利用大型语言模型创建包含深度信息的2.5D语义布局,然后生成粗略的场景合成图作为先验指导,最后通过物体先验强化和空间控制去噪引导扩散过程。在T2I-CompBench和NSR-1K基准测试中,该方法远超现有技术,特别是在处理复杂空间关系和多物体场景时表现卓越,为AI辅助创意设计开辟新可能。