本文原文来自DataLearnerAI官方网站:
https://www.datalearner.com/blog/1051730035281379
2024年10月22日,Anthropic发布了两个新模型:升级版的Claude 3.5 Sonnet和全新的Claude 3.5 Haiku。升级版的Claude 3.5 Sonnet在保持原有价格和速度的基础上,实现了全面性能提升,尤其在编码领域取得了显著进步。新推出的Claude 3.5 Haiku则以与Claude 3 Haiku相同的成本和类似的速度,在多个评测中达到了与Claude 3 Opus相当的性能水平。
此次发布最引人注目的是Claude 3.5 Sonnet引入了一项突破性的新功能:计算机使用能力(Computer Use)。这项目前处于公测阶段的功能,使Claude能够像人类一样通过观看屏幕、移动光标、点击按钮和输入文本来操作计算机。
在2024年6月份,Claude发布了Claude Sonnet 3.5模型,该模型相比上一代模型提升明显。Claude模型分为三个版本,最强的是Opus,其次是Sonnet,最小但是最快的是Haiku模型。Sonnet 3.5模型甚至超过了此前的Claude Opus 3模型(即上一代Claude最强的模型)。而四个月后,Sonnet 3.5版本不变,Anthropic给它做了一个升级,目前大家一般称该版本模型为Claude Sonnet 3.5 New。
升级版Claude 3.5 Sonnet带来了以下关键改进:
在计算机使用能力方面,Claude 3.5 Sonnet New在OSWorld基准测试中取得了14.9%的成绩(仅使用截图输入),明显优于其他AI系统的7.8%。当允许更多操作步骤时,其成绩可提升至22.0%。
Claude Sonnet 3.5 New版本各个评测都是非常好,目前在常规的文本理解(MMLU)和编程水平(HumanEval)评测上都是全球第一,超过了GPT-4o模型。
DataLearnerAI官方评测排行榜收集的结果如下:
计算机使用能力(Computer Use)是Claude 3.5 Sonnet这次升级中最具突破性的新功能。这项创新使Claude能够像人类一样通过观察屏幕、移动光标、点击按钮和输入文本来操作计算机,而不是仅依赖特定的API或工具。这种方法标志着AI与计算机交互方式的重要转变,使模型能够使用为人类设计的标准工具和软件程序。
Anthropic为实现这一功能开发了专门的API,使Claude能够感知和交互计算机界面。其工作流程如下:
例如,当用户要求”使用我的计算机和在线数据填写这个表单”时,Claude可以:
尽管这项功能具有突破性意义,但目前仍处于早期阶段,存在一些限制:
基础操作挑战:
这项功能的使用建议如下:
尽管目前还处在早期阶段,但是这个功能的进化速度是可以预见的会很快!
Claude 3.5 Haiku作为Anthropic最快速模型的下一代产品,具有以下特点:
SWE-bench Verified评测
这是一个评估模型解决实际软件工程任务能力的基准测试,通过解决来自流行开源Python存储库的GitHub问题来进行评估。
模型 | 通过率 |
---|---|
Claude 3.5 Sonnet (New) | 49.0% |
Claude 3.5 Haiku | 40.6% |
Claude 3.5 Sonnet | 33.4% |
Claude 3 Opus | 22.2% |
Claude 3 Haiku | 7.2% |
数据显示,升级版Claude 3.5 Sonnet在代码开发能力上有了显著提升,通过率提高了近16个百分点。而新的Claude 3.5 Haiku也展现出强劲实力,其40.6%的通过率超过了原版Claude 3.5 Sonnet。
TAU-bench评测结果
TAU-bench评估模型在零售和航空领域的客户服务场景中与模拟用户和API交互的能力。
模型 | 零售领域 | 航空领域 |
---|---|---|
Claude 3.5 Sonnet (New) | 69.2% | 46.0% |
Claude 3.5 Haiku | 51.0% | 22.8% |
Claude 3.5 Sonnet | 62.6% | 36.0% |
Claude 3 Opus | 45.1% | 34.5% |
Claude 3 Haiku | 18.2% | 16.0% |
在这个评测中,升级版Claude 3.5 Sonnet在两个领域都取得了明显进步,特别是在较为复杂的航空领域提升了10个百分点。Claude 3.5 Haiku也展现出不俗实力,在零售领域的表现超过了Claude 3 Opus。
升级版Claude 3.5 Sonnet在多个视觉相关任务中都展现出强大实力:
评测项目 | Claude 3.5 Sonnet (New) | Claude 3.5 Sonnet | Claude 3 Opus | GPT-4o | Gemini 1.5 Pro |
---|---|---|---|---|---|
MMMU (validation) | 70.4% | 68.3% | 59.4% | 69.1% | 65.9% |
MathVista | 70.7% | 67.7% | 50.5% | 63.8% | 68.1% |
AI2D | 95.3% | 94.7% | 88.1% | 94.2% | - |
ChartQA | 90.8% | 90.8% | 80.8% | 85.7% | - |
DocVQA | 94.2% | 95.2% | 89.3% | 92.8% | - |
在视觉理解任务中,升级版Claude 3.5 Sonnet在大多数测试中都达到了最优水平,特别是在科学图表理解(AI2D)和图表问答(ChartQA)方面的表现尤为突出。相比其前代版本,新版本在数学视觉推理(MathVista)等领域都有明显提升。
通过这些评测结果可以看出,Anthropic在这次更新中不仅提升了模型的整体性能,还在专业领域如编程、视觉理解等方面取得了显著进步。特别是新增的计算机使用能力,虽然仍处于早期阶段,但展现出了AI与计算机交互的新可能性。
目前,Claude官网的聊天应用(Claude Chat)已经可以使用Sonnet 3.5 New模型了。而Haiku 3.5目前则是面向开发者开放。
话说,Sonnet 3.5都这么强了,Opus 3.5得变成什么样了!
这两个模型更多的信息参考DataLearnerAI模型信息卡地址:
Claude Haiku 3.5模型信息卡地址:https://www.datalearner.com/ai-models/pretrained-models/claude-3_5-haiku
Claude Sonnet 3.5 New模型信息卡地址:https://www.datalearner.com/ai-models/pretrained-models/claude-3_5-sonnet-new
好文章,需要你的鼓励
从浙江安吉的桌椅,到广东佛山的沙发床垫、河南洛阳的钢制家具,再到福建福州的竹藤制品,中国各大高度专业化的家具产业带,都在不约而同地探索各自的数字化出海路径。
哥伦比亚大学研究团队开发了MathBode动态诊断工具,通过让数学题参数按正弦波变化来测试AI的动态推理能力。研究发现传统静态测试掩盖了AI的重要缺陷:几乎所有模型都表现出低通滤波特征和相位滞后现象,即在处理快速变化时会出现失真和延迟。该方法覆盖五个数学家族的测试,为AI模型选择和部署提供了新的评估维度。
研究人员正探索AI能否预测昏迷患者的医疗意愿,帮助医生做出生死决策。华盛顿大学研究员Ahmad正推进首个AI代理人试点项目,通过分析患者医疗数据预测其偏好。虽然准确率可达三分之二,但专家担心AI无法捕捉患者价值观的复杂性和动态变化。医生强调AI只能作为辅助工具,不应替代人类代理人,因为生死决策依赖具体情境且充满伦理挑战。
这项研究首次发现AI推理模型存在"雪球效应"问题——推理过程中的小错误会逐步放大,导致AI要么给出危险回答,要么过度拒绝正常请求。研究团队提出AdvChain方法,通过训练AI学习"错误-纠正"过程来获得自我纠错能力。实验显示该方法显著提升了AI的安全性和实用性,用1000个样本达到了传统方法15000个样本的效果,为AI安全训练开辟了新方向。