在人工智能行业内部,当人们讨论大型语言模型的具体工作原理时,经常使用"前沿模型"这一术语。
但如果你不熟悉这个行业,可能并不真正了解这个词的含义。你可以从"前沿"这个词直观地理解,这些是各公司正在推进的最大、最优秀的新系统。
描述前沿模型的另一种方式是将其称为"尖端"人工智能系统,它们用途广泛,是提升AI能力的整体框架。
当询问ChatGPT时,它给出了三个标准——海量数据集、计算资源和复杂架构。
以下是前沿模型的一些关键特征,有助于你理解这些模型的工作原理:
首先是多模态性,前沿模型可能支持非文本输入和输出——如图像、视频或音频。换句话说,它们能够看和听,而不仅仅是读和写。
另一个主要特征是零样本学习,系统在较少提示下就能展现更强的能力。
还有那种类似智能体的行为,这让人们开始谈论"智能体AI"时代。
**前沿模型实例**
如果你想玩"猜模型"游戏,具体了解哪些公司在推进这项研究,你可以说OpenAI的GPT-4o代表了这样一个前沿模型,具有多模态和实时推理能力。或者你可以推崇Gemini 1.5的能力,它同样是多模态的,具有不错的上下文理解能力。
你还可以指出许多其他在这类研究中表现出色的公司例子...但是,深入了解这些系统的构建如何?
**剖析前沿领域格局**
在最近的"行动中的想象力"专家小组讨论中,一支专家团队分析了在AI这一领域工作和创建前沿模型所需的条件。
小组主持人Peter Grabowski为前沿模型介绍了两个相关概念——质量与充分性,以及多模态性。
"我们已经看到了文本模型的大量工作,"他说。"我们已经看到了图像模型的大量工作。我们在视频或图像方面也看到了一些工作,但你可以轻松想象,这只是未来发展的开始。"
Contextual AI首席执行官Douwe Kiela指出,前沿模型需要大量资源,并指出"AI是一个资源密集型的事业"。
"我将成本与质量视为前沿,而那些实际上只需要在特定数据上训练的模型,实际上模型的鲁棒性就在那里,"Link Ventures董事总经理Lisa Dolan说(我也隶属于Link)。
"我认为在性能方面仍有很大的增长空间,"Premji Invest副总裁Vedant Agrawal说。
Agrawal还谈到了使用非专有基础模型的价值。
"我们可以采用其他人训练的基础模型,然后让它们变得更好,"他说。"所以我们真正专注于构成这些系统的所有组件,以及我们如何在它们各自的小类别中与它们合作?"
**基准测试和互操作性**
小组还讨论了基准测试作为衡量这些前沿系统的方式。
"基准测试是一个有趣的问题,因为它同时是研究领域中最好和最坏的事情,"他说。"我认为这是件好事,因为每个人都知道目标和他们要努力的方向,这也是件坏事,因为你很容易操纵系统。"
这种"操纵系统"是如何工作的?Agrawal建议,真正以具体方式使用基准测试可能很困难。
"对于不深入研究领域的人来说,很难看着基准测试表格说,'好吧,你得了99.4分,而其他人得了99.2分,'"他说。"很难将那0.2%的差异在现实世界中的真正含义进行情境化。"
"我们查看基准测试,因为我们必须报告它们,但存在大量的基准测试疲劳,所以没人相信它,"Dolan说。
后来,讨论了一些关于10倍系统的内容,以及收集和使用数据的一些方法:
· 识别合同业务数据 · 使用合成数据 · 标注员团队
当被问及这些系统的未来时,小组返回了这三个概念:
· AI智能体 · 跨学科技术 · 非变换器架构
观看视频可以获得小组关于前沿构建的其余评论。
**前沿界面的未来形态**
这里有一个有趣的补充——出于对我们将如何在10年后与这些前沿模型交互的兴趣,我向ChatGPT提出了这个问题。
以下是我得到的一些回应:
"你不会'打开'一个应用程序——它们将作为无处不在的后台智能体存在,对语音、凝视、情感或任务提示做出响应...你的AI知道你在开会,它读取你的情绪状态,听到正在说的话,并准备摘要+下一步行动——在你询问之前。"
这结合了两个方面,即新系统可能的模式和感觉。
这回到了个人化方法,我们开始更多地将这些模型视为同事和对话伙伴,而不是从计算机屏幕上凝视你的东西。
换句话说,PC-DOS命令行系统的时代已经结束。Windows将计算机界面从单行单色系统改变为色彩鲜艳的窗口、重新框架和基于工具的桌面方法的充满活力的系统。
前沿模型将为我们的界面进步感做得更多。
这将是巨大的变化。敬请期待。
好文章,需要你的鼓励
Zopa银行正式推出可在几分钟内开户的活期账户服务,面向其150万储蓄和贷款客户以外的更广泛用户群体。该账户此前已有6万名现有客户参与测试,正式发布时间比预期提前。作为金融科技先驱,Zopa在2020年获得完整银行牌照后推出首款储蓄产品,目前拥有140万客户,年收入超过3亿英镑,存款规模超过50亿英镑。
清华大学团队通过创新的"模式感知重排序"技术,解决了AI视频生成中注意力机制计算效率低下的问题。该技术将复杂分散的注意力模式重新整理成规整的块状结构,结合专门设计的稀疏化和量化策略,在保持生成质量的同时将计算速度提升1.9-2.7倍,为AI视频生成的普及应用铺平道路。
Mozilla正式推出Firefox 140浏览器,作为扩展支持版本(ESR)发布。新版本增加了标签页卸载功能,可清理内存并在需要时重新加载。垂直标签页用户可调整固定标签区域大小,隐私翻译功能现可跟随滚动位置优先翻译当前查看区域。Android版本支持批量选择标签页,私人标签可通过密码或指纹保护。该版本同时更新ESR 128用户,为下游项目如Waterfox和Thunderbird提供新版本基础。
哥伦比亚大学研究团队开发出新的AI偏见纠正技术,通过"重排序"方法让人工智能在总结政治观点时保持公正。该方法让AI生成多个版本后择优选择,结合偏好调优训练,显著提升了观点覆盖度和内容准确性,为构建更可信赖的AI系统提供了实用解决方案。