总部位于帕洛阿尔托的新创公司 Inception,由斯坦福大学计算机科学教授 Stefano Ermon 创立,声称已开发出一种基于"扩散"技术的全新 AI 模型。Inception 将其称为基于扩散的大语言模型,简称"DLM"。
目前受到最多关注的生成式 AI 模型大致可分为两类:大语言模型 (LLM) 和扩散模型。基于 Transformer 架构的 LLM 主要用于文本生成。而扩散模型则为 Midjourney 和 OpenAI 的 Sora 等 AI 系统提供支持,主要用于创建图像、视频和音频。
据该公司介绍,Inception 的模型具备传统大语言模型的功能,包括代码生成和问答能力,但性能显著提升,且计算成本更低。
Ermon 告诉 TechCrunch,他在斯坦福实验室长期研究如何将扩散模型应用于文本。他的研究基于这样一个观察:与扩散技术相比,传统大语言模型相对较慢。
对于大语言模型,Ermon 表示:"在生成第一个词之前你无法生成第二个词,在生成前两个词之前你也无法生成第三个词。"
Ermon 一直在寻找将扩散方法应用于文本的方式,因为与按顺序工作的大语言模型不同,扩散模型首先对要生成的数据 (如图片) 进行粗略估计,然后一次性将数据聚焦成型。
Ermon 提出假设,使用扩散模型可以并行生成和修改大块文本。经过多年尝试,Ermon 和他的一名学生取得了重大突破,并在去年发表的研究论文中详细说明了这一成果。
认识到这项进展的潜力,Ermon 于去年夏天创立了 Inception,并邀请两位前学生——UCLA 教授 Aditya Grover 和康奈尔大学教授 Volodymyr Kuleshov 共同领导公司。
虽然 Ermon 婉拒讨论 Inception 的融资情况,但据 TechCrunch 了解,Mayfield Fund 已投资该公司。
Emron 表示,Inception 已经获得了包括未具名的财富 100 强企业在内的多个客户,这些客户都急需降低 AI 延迟并提高处理速度。
"我们发现我们的模型能够更高效地利用 GPU,"Ermon 提到这些在生产环境中常用的计算机芯片时说,"我认为这意味着重大突破。这将改变人们构建语言模型的方式。"
Inception 提供 API 接口、本地部署和边缘设备部署选项,支持模型微调,并提供一套适用于各种场景的开箱即用 DLM。该公司声称其 DLM 的运行速度可达传统大语言模型的 10 倍,成本则降低至十分之一。
"我们的'小型'编程模型与 [OpenAI 的] GPT-4 mini 性能相当,但速度快 10 倍以上,"该公司发言人告诉 TechCrunch。"我们的'迷你'模型性能超过 [Meta 的] Llama 3.1 8B 等小型开源模型,每秒可处理超过 1,000 个 token。"
"Token"是业内用语,指原始数据的基本单位。如果 Inception 的声明属实,每秒处理 1,000 个 token 确实是一个令人印象深刻的速度。
好文章,需要你的鼓励
TechCrunch Disrupt 2025 AI舞台将汇聚塑造科技未来的领军人物,顶尖风投将揭示在快速变化的AI领域获得融资的关键。来自Apptronik、ElevenLabs、Hugging Face、Runway等创新企业的领导者将分享前沿洞见,探讨AI如何重塑创意过程、改变物理世界、变革国防安全和重新定义人际关系。10月27-29日,五大主题舞台将在旧金山呈现科技创新的未来图景。
斯坦福大学NLP研究小组发布了全新的2024版GloVe词向量,这是对2014年原版的重大升级。新版本使用维基百科、Gigaword新闻数据和Dolma语料库进行训练,新增超过70万词汇,涵盖疫情、科技、网络文化等现代概念。测试显示新版本在处理当代文本、非西方人名地名和社交媒体内容方面表现显著优于旧版本,为自然语言处理应用提供了更准确的语言理解工具。
英超联赛与微软达成五年战略合作伙伴关系,推出AI驱动的Premier League Companion服务,为全球球迷提供个性化体验。该服务利用Azure OpenAI技术,整合30多个赛季的统计数据、30万篇文章和9000个视频,帮助球迷发现和了解更多内容。未来还将为Fantasy Premier League引入个人助理经理功能,并通过Azure AI优化比赛直播体验和赛后分析。
TeleAI团队发布TeleChat2、TeleChat2.5和T1三款大语言模型的技术报告,详述了从10万亿tokens预训练到强化学习优化的完整开发过程。T1-115B在数学推理上超越OpenAI o1-mini,展现了国产AI模型的技术突破。研究采用4D并行训练策略,在8000个华为昇腾NPU上完成训练,并全面开源以促进AI技术发展。