AI智能体仍需人类指导才能有效执行任务

AI智能体需要技能——具体的程序性知识——才能很好地执行任务，但新研究表明它们无法自我学习这些技能。

研究人员开发了一个名为SkillsBench的新基准测试，评估智能体AI在11个领域84项任务中的表现，涵盖医疗保健、制造业、网络安全和软件工程等领域。研究人员在三种条件下测试每项任务：无技能（智能体仅接收指令）、有策划技能（提供目录、代码片段和资源帮助）以及自生成技能（智能体无技能但被提示开发技能）。

典型任务包括对npm依赖项进行安全审计以发现漏洞，或分析癌细胞系数据中的差异蛋白表达。

最佳表现来自具有策划技能的智能体，其平均得分比无技能智能体高16.2个百分点，表明AI仍然离不开人类干预。即便如此，在84项任务中的16项中，人类指导对结果产生了负面影响。

不同行业领域的表现差异很大，策划技能对医疗保健任务影响最大，但对软件工程影响较小。

被要求生成自己技能的智能体没有表现出性能提升，显示AI仍需要一些人类提示才能完成工作。

Q&A

Q1：什么是SkillsBench基准测试？

A：SkillsBench是研究人员开发的一个新基准测试，用于评估智能体AI在11个领域84项任务中的表现，涵盖医疗保健、制造业、网络安全和软件工程等领域。它通过三种不同条件测试智能体的技能表现。

Q2：AI智能体能否自己学习技能？

A：研究表明AI智能体无法自我学习技能。被要求生成自己技能的智能体没有表现出性能提升，显示AI仍需要人类提示和指导才能有效完成工作，不能完全独立运作。

Q3：人类指导对AI智能体的效果如何？

A：具有人类策划技能的智能体平均得分比无技能智能体高16.2个百分点，表明人类指导总体上是有效的。但在84项任务中的16项中，人类指导对结果产生了负面影响，且不同行业领域效果差异很大。