伊利亚·苏茨克沃尔(Ilya Sutskever)在加拿大温哥华举行的NeurIPS 2024大会上发表了题为“神经网络的序列到序列学习:十年之变”的演讲。在演讲中,伊利亚表示,“我们所知道的预训练将终结",接下来将是超级智能:具备智能体性质、能推理、能理解且有自我意识。
伊利亚因2014年与Oriol Vinyals、Quoc Le共同撰写的“神经网络的序列到序列学习”论文,获得了NeurIPS 2024时间检验奖。该论文引入的编码器-解码器架构,使用多层长短期记忆网络(LSTM)将输入序列映射到固定维度的向量,再从向量解码目标序列,极大地拓展了自然语言处理的边界,为序列到序列的任务提供了一种高效的方法,是自然语言处理及机器学习领域的重要基石。
在演讲中,伊利亚详细介绍了过去十年在人工智能领域的研究工作。早期的工作中,他们致力于训练基于文本的自回归模型。当时,深度学习领域流传着一种假说:如果拥有一个庞大的神经网络,尤其是多层结构的神经网络,那么它就具备在瞬间完成人类所做之事的能力。这种能力涵盖了多个方面,无论是复杂的语言理解、逻辑推理,还是各种信息处理任务,都可以在瞬间被大型神经网络所执行。
自回归模型在当时是一项创新性的技术探索,其核心原理在于,如果模型能够精准地预测下一个词,那么它就有能力把握后续整个序列的正确分布。这一理念突破了以往对于模型预测能力的认知局限,为模型在语言处理等任务上提供了新的思路和方法。在实际应用方面,他们将这一模型应用于翻译任务,通过模型对语言序列的准确把握,实现了高效、精准的翻译效果。
回顾早期的技术手段,他们采用了LSDM以及预用并行化(pipelining)技术。虽然在如今的技术视角下,pipelining技术并非最佳选择,但在当时的技术条件下,它却发挥了重要作用。通过使用8个GPU,他们成功实现了3.5倍的加速,这在当时极大地提高了模型的训练和运行效率,为研究工作的推进提供了有力支持。
早期研究得出的结论对于后续人工智能的发展产生了深远影响。当时的研究发现,当数据集规模足够大,并且神经网络足够庞大时,成功几乎成为一种必然结果。这一结论为后续的研究工作奠定了重要基础,直接推动了预训练时代的到来。在预训练时代,GPT系列模型等得以蓬勃发展,这些模型不断拓展了人工智能在自然语言处理等领域的能力边界,使得人工智能在处理复杂任务时能够更加智能、高效,从而在各个领域得到广泛应用。
计算能力在不断地飞速提升,但是数据的来源主要依赖于互联网,相对单一且有限。互联网虽然蕴含着丰富的信息,但从本质上来说,它是一个相对封闭的体系,我们目前仅能从这一个互联网获取数据。随着时间的推移,互联网上的数据增长速度逐渐放缓,已经趋近于峰值状态,可用于训练模型的新数据越来越少。一旦数据增长停滞,预训练模型的进一步优化和发展将受到极大的制约,预训练时代也可能因此走向终结。
面对这一挑战,研究人员开始积极探索不同的发展方向。其中,“代理”概念备受关注,有望赋予模型更高级的智能和自主性,使其能够像智能体一样在复杂环境中进行决策和行动。合成数据也是一个重要的研究方向,通过人工合成数据的方式来补充有限的真实数据,为模型训练提供更多的素材。推理时计算则聚焦于优化模型在推理阶段的计算过程,提高效率和准确性,OpenAI的o1模型就是在这方面的一个尝试,它展示了人们在探索预训练后发展方向上的努力和创新。这些探索方向都为人工智能的未来发展提供了新的思路,有望突破当前预训练时代面临的数据瓶颈,推动人工智能技术迈向新的阶段。
好文章,需要你的鼓励
Queen's大学研究团队提出结构化智能体软件工程框架SASE,重新定义人机协作模式。该框架将程序员角色从代码编写者转变为AI团队指挥者,建立双向咨询机制和标准化文档系统,解决AI编程中的质量控制难题,为软件工程向智能化协作时代转型提供系统性解决方案。
苹果在iOS 26公开发布两周后推出首个修复更新iOS 26.0.1,建议所有用户安装。由于重大版本发布通常伴随漏洞,许多用户此前选择安装iOS 18.7。尽管iOS 26经过数月测试,但更大用户基数能发现更多问题。新版本与iPhone 17等新机型同期发布,测试范围此前受限。预计苹果将继续发布后续修复版本。
西北工业大学与中山大学合作开发了首个超声专用AI视觉语言模型EchoVLM,通过收集15家医院20万病例和147万超声图像,采用专家混合架构,实现了比通用AI模型准确率提升10分以上的突破。该系统能自动生成超声报告、进行诊断分析和回答专业问题,为医生提供智能辅助,推动医疗AI向专业化发展。