总部位于帕洛阿尔托的新创公司 Inception,由斯坦福大学计算机科学教授 Stefano Ermon 创立,声称已开发出一种基于"扩散"技术的全新 AI 模型。Inception 将其称为基于扩散的大语言模型,简称"DLM"。
目前受到最多关注的生成式 AI 模型大致可分为两类:大语言模型 (LLM) 和扩散模型。基于 Transformer 架构的 LLM 主要用于文本生成。而扩散模型则为 Midjourney 和 OpenAI 的 Sora 等 AI 系统提供支持,主要用于创建图像、视频和音频。
据该公司介绍,Inception 的模型具备传统大语言模型的功能,包括代码生成和问答能力,但性能显著提升,且计算成本更低。
Ermon 告诉 TechCrunch,他在斯坦福实验室长期研究如何将扩散模型应用于文本。他的研究基于这样一个观察:与扩散技术相比,传统大语言模型相对较慢。
对于大语言模型,Ermon 表示:"在生成第一个词之前你无法生成第二个词,在生成前两个词之前你也无法生成第三个词。"
Ermon 一直在寻找将扩散方法应用于文本的方式,因为与按顺序工作的大语言模型不同,扩散模型首先对要生成的数据 (如图片) 进行粗略估计,然后一次性将数据聚焦成型。
Ermon 提出假设,使用扩散模型可以并行生成和修改大块文本。经过多年尝试,Ermon 和他的一名学生取得了重大突破,并在去年发表的研究论文中详细说明了这一成果。
认识到这项进展的潜力,Ermon 于去年夏天创立了 Inception,并邀请两位前学生——UCLA 教授 Aditya Grover 和康奈尔大学教授 Volodymyr Kuleshov 共同领导公司。
虽然 Ermon 婉拒讨论 Inception 的融资情况,但据 TechCrunch 了解,Mayfield Fund 已投资该公司。
Emron 表示,Inception 已经获得了包括未具名的财富 100 强企业在内的多个客户,这些客户都急需降低 AI 延迟并提高处理速度。
"我们发现我们的模型能够更高效地利用 GPU,"Ermon 提到这些在生产环境中常用的计算机芯片时说,"我认为这意味着重大突破。这将改变人们构建语言模型的方式。"
Inception 提供 API 接口、本地部署和边缘设备部署选项,支持模型微调,并提供一套适用于各种场景的开箱即用 DLM。该公司声称其 DLM 的运行速度可达传统大语言模型的 10 倍,成本则降低至十分之一。
"我们的'小型'编程模型与 [OpenAI 的] GPT-4 mini 性能相当,但速度快 10 倍以上,"该公司发言人告诉 TechCrunch。"我们的'迷你'模型性能超过 [Meta 的] Llama 3.1 8B 等小型开源模型,每秒可处理超过 1,000 个 token。"
"Token"是业内用语,指原始数据的基本单位。如果 Inception 的声明属实,每秒处理 1,000 个 token 确实是一个令人印象深刻的速度。
好文章,需要你的鼓励
是德科技高级副总裁兼通信解决方案事业部总裁Kailash Narayanan现场指出,算力固然重要,但如果能耗过高,技术的实用性将大打折扣,因此,所有的高速、高性能计算,都必须在极低的功耗下实现,这是AI等技术能否大规模落地的核心前提。
DeepSeek-AI团队通过创新的软硬件协同设计,仅用2048张GPU训练出性能卓越的DeepSeek-V3大语言模型,挑战了AI训练需要海量资源的传统观念。该研究采用多头潜在注意力、专家混合架构、FP8低精度训练等技术,大幅提升内存效率和计算性能,为AI技术的民主化和可持续发展提供了新思路。
来自上海交通大学和浙江大学等机构的研究团队开发出首个AI"记忆操作系统"MemOS,解决了AI系统无法实现人类般持久记忆和学习的根本限制。该系统将记忆视为核心计算资源进行调度、共享和演化,在时间推理任务中相比OpenAI记忆系统性能提升159%。MemOS采用三层架构设计,通过标准化记忆单元实现跨平台记忆迁移,有望改变企业AI部署模式。
加拿大女王大学研究团队首次系统评估了大型视频语言模型的因果推理能力,发现即使最先进的AI在理解视频中事件因果关系方面表现极差,大多数模型准确率甚至低于随机猜测。研究创建了全球首个视频因果推理基准VCRBench,并提出了识别-推理分解法(RRD),通过任务分解显著提升了AI性能,最高改善幅度达25.2%。