DeepMind发起黑客马拉松活动为通用人工智能制定评估标准

如果一个机器人真的实现了通用人工智能（AGI），我们如何知道？谷歌DeepMind的研究人员提出了一个他们声称基于经验和科学的框架来衡量AGI进展，并正在寻找开发者来完善这一框架。

曾几何时，"人工智能"用来描述在各种类似思维的任务上与人类基本无异的机器。但随着机器学习应用（从OpenAI的ChatGPT开始）吸引了公众想象力，科技行业增长炒作的飞轮进入超高速运转，"AI"一词被重新定义为使用大规模矩阵乘法来相对较好地执行复杂任务且监督相对较少的计算机程序。随着这些目标的移动，定义松散的"AGI"术语取代了AI原本的含义。

DeepMind希望收紧这一定义。这家谷歌旗下AI研发机构的团队本周报告称，他们开发了一个"认知分类体系"来衡量科技行业在通用有用AGI方面的进展，以及一个三阶段测试来对标AI系统性能与人类能力。

对于那些希望获得一些突破性心理学见解或想法的人来说，抱歉，但研究人员提出的方法很简单。DeepMind研究人员表示，让AI模型和人类通过相同的认知基准测试，你就能很好地估计出单个AI何时能够在其分类体系的所有十个领域中达到或超过人类能力，这些领域分为两个主要区域。

首先是人类认知的八个基本构建模块，这些已被其他研究人员先前定义：感知、生成、注意力、学习、记忆、元认知和执行功能。

DeepMind研究人员表示，这八个构建模块以各种方式结合，形成两个同样重要的复合能力：问题解决和社会认知，后者在论文中被定义为处理和解释社会信息并在社会情境中适当回应的能力。

当然，分类体系是好的，但如果没有测试AI模型相对于人类表现的系统，它实际上并没有太大作用。因此谷歌团队提议举办黑客马拉松来征集社区帮助。

团队解释说："我们正在启动一个新的Kaggle黑客马拉松，为评估差距最大的五种认知能力设计评估方法：学习、元认知、注意力、执行功能和社会认知。"

比赛设立了20万美元奖金池，几个参赛作品已经公开发布并在进行中。五个领域中的每个领域将有两个团队各获得1万美元，四个总冠军将各获得2.5万美元。

AGI被广泛认为目前还很遥远，一些专家甚至宣称这完全是幻想的时间浪费。除了能够在各个学科领域表现良好的AI之外，甚至没有明确一致认同的定义。DeepMind团队没有费心澄清他们认为AGI的含义，只是说它"经常被用作描述各种高能力AI系统的简称"，我们需要在纠结定义的同时实际开始衡量朝向它的进展。

团队希望通过做一些事情——任何事情——来帮助衡量AGI进展，能够"将围绕AGI的对话从主观声明和推测转向基于事实、可测量的科学努力"。

黑客马拉松的获胜者将在6月份宣布。

Q&A

Q1：DeepMind提出的认知分类体系包含哪些内容？

A：DeepMind的认知分类体系包含十个领域，分为两个主要区域。首先是八个人类认知的基本构建模块：感知、生成、注意力、学习、记忆、元认知和执行功能。这些构建模块结合形成两个复合能力：问题解决和社会认知。社会认知被定义为处理和解释社会信息并在社会情境中适当回应的能力。

Q2：这次Kaggle黑客马拉松的奖金和评估重点是什么？

A：比赛设立了20万美元奖金池，专门为评估差距最大的五种认知能力设计评估方法：学习、元认知、注意力、执行功能和社会认知。五个领域中每个领域的两个团队将各获得1万美元，四个总冠军将各获得2.5万美元。获胜者将在6月份宣布。

Q3：为什么DeepMind要制定AGI评估标准？

A：随着"AI"术语被重新定义为使用大规模矩阵乘法的计算机程序，"AGI"取代了AI原本的含义但定义松散。DeepMind希望收紧这一定义，通过让AI模型和人类通过相同的认知基准测试，将围绕AGI的对话从主观声明和推测转向基于事实、可测量的科学努力。