在行业内部,当人们讨论大语言模型的具体工作原理时,经常使用"前沿模型"这一术语。
但如果你不在这个行业内,可能并不真正了解这个概念的含义。你可以直观地理解"前沿"这个词,知道这些是各大公司正在推进的最新、最优秀的系统。
描述前沿模型的另一种方式是将其定义为"尖端"AI系统,具有广泛的应用目标,是提升AI能力的整体框架。
当被询问时,ChatGPT给出了三个标准——海量数据集、计算资源和复杂架构。
以下是前沿模型的一些关键特征,帮助你更好地理解这些模型的工作原理:
首先是多模态性,前沿模型很可能支持非文本输入和输出——包括图像、视频或音频。换句话说,它们能够看和听——不仅仅是读和写。
另一个重要特征是零样本学习,系统在更少提示下具备更强的能力。
还有那种类似智能体的行为,这让人们开始谈论"智能体AI"时代。
前沿模型的实例
如果你想玩"识别模型"游戏,具体了解哪些公司在推进这项研究,你可以说OpenAI的GPT 4o代表了一种前沿模型,具有多模态和实时推理能力。或者你可以推崇Gemini 1.5的能力,它同样是多模态的,具有不错的上下文处理能力。
你还可以指出许多其他在这类研究方面表现出色的公司例子...但是:深入了解这些系统的构建过程如何?
分析前沿技术格局
在最近的"行动中的想象力"小组讨论中,一组专家分析了在AI领域这一部分工作并创建这些前沿模型所需的条件。
小组主持人Peter Grabowski为前沿模型介绍了两个相关概念——质量与充分性,以及多模态性。
"我们已经看到了文本模型的大量工作,"他说。"我们看到了图像模型的很多工作。我们看到了一些视频或图像方面的工作,但你可以轻易想象,这只是未来发展的开始。"
Contextual AI的CEO Douwe Kiela指出,前沿模型需要大量资源,他提到"AI是一个非常资源密集的事业。"
Link Ventures的董事总经理Lisa Dolan说:"我将成本与质量视为前沿,这些模型实际上只需要在特定数据上进行训练,但模型的稳健性是存在的。"(我也隶属于Link公司。)
Premji Invest的副总裁Vedant Agrawal说:"我认为在性能方面仍有很大的增长空间。"
Agrawal还谈到了使用非专有基础模型的价值。
"我们可以采用其他人训练的基础模型,然后让它们变得更好,"他说。"所以我们真正专注于构成这些系统的所有组件,以及我们如何在它们各自的小类别中使用它们?"
基准测试和互操作性
小组还讨论了基准测试作为衡量这些前沿系统的方法。
"基准测试是一个有趣的问题,因为它单独来看既是研究世界中最好的东西,也是最糟糕的东西,"他说。"我认为它是好事,因为每个人都知道目标和他们努力的方向,但它也是坏事,因为你可以轻易地钻系统的空子。"
这种"钻系统空子"是如何工作的?Agrawal建议,真正以具体方式使用基准测试可能很困难。
"对于不深入研究领域的人来说,很难看着基准测试表格说,'好吧,你得了99.4分,而其他人得了99.2分,'"他说。"很难将0.2%的差异在现实世界中的真正含义进行情境化。"
Dolan说:"我们会查看基准测试,因为我们必须报告它们,但存在大量的基准测试疲劳,所以没人相信它。"
后来,讨论了一些关于10倍系统的话题,以及收集和使用数据的一些方法:
· 识别合同业务数据 · 使用合成数据 · 标注员团队
当被问及这些系统的未来时,小组返回了这三个概念:
· AI智能体 · 跨学科技术 · 非变换器架构
观看视频了解小组关于前沿构建的其余评论。
前沿界面将是什么样子
这里有个有趣的补充——对于10年后我们将如何与这些前沿模型交互感兴趣,我向ChatGPT提出了这个问题。
以下是我得到的一些回答:
"你不会'打开'一个应用程序——它们将作为无处不在的后台智能体存在,响应语音、凝视、情感或任务提示...你的AI知道你在开会,它读取你的情绪状态,听到所说的话,并准备摘要+下一步行动——在你询问之前。"
这结合了两个方面,即新系统可能具有的模式和感觉。
这回到了个人化方法,我们开始更多地将这些模型视为同事和对话伙伴,而不是从计算机屏幕上凝视你的东西。
换句话说,PC-DOS命令行系统的时代已经结束。Windows将计算机界面从单行单色系统改变为充满活力的彩色窗口、重新构架和基于工具的桌面方法。
前沿模型将为我们的界面进展感知做得更多。
这将是巨大的变化。敬请关注。
好文章,需要你的鼓励
AI技术的最新应用展示了其在日常办公场景中的强大能力。用户现在可以通过简单的截图操作,让AI智能识别和提取图像中的时间、地点、事件等关键信息,并自动创建相应的日历事件。这种功能大大简化了日程管理流程,提高了工作效率,代表了AI技术在实用性和智能化方面的重要突破。
杭州电子科技大学研究团队开发出CRISP-SAM2智能医学影像分析系统,能够结合文字描述和CT图像同时进行器官识别。该系统通过跨模态语义交互技术,无需医生手动提示即可精准分割18种人体器官,在七个数据集测试中表现优异,为医学影像诊断提供了新的AI解决方案。
最新调查显示,91%的AI用户都有首选的聊天机器人工具。其中ChatGPT以28%的占比位居榜首,其次是谷歌Gemini(23%)、Meta AI和亚马逊Alexa(各18%)、苹果Siri(16%)。用户主要将这些AI工具用于撰写邮件、研究感兴趣话题和管理待办事项。报告指出,61%的美国人在过去半年内使用过AI,19%的人每天都在使用。
伊利诺伊大学研究团队开发了HalluSegBench评估系统,首次系统性揭示AI视觉分割模型的"幻觉"问题。通过创建1340对对比图像和四种新评估指标,研究发现当前先进AI模型普遍存在错误识别不存在物体的严重缺陷,且视觉变化比文字变化更容易引发幻觉。该研究为提升AI系统可靠性提供了重要工具和理论基础。