伊利亚·苏茨克沃尔(Ilya Sutskever)在加拿大温哥华举行的NeurIPS 2024大会上发表了题为“神经网络的序列到序列学习:十年之变”的演讲。在演讲中,伊利亚表示,“我们所知道的预训练将终结",接下来将是超级智能:具备智能体性质、能推理、能理解且有自我意识。
伊利亚因2014年与Oriol Vinyals、Quoc Le共同撰写的“神经网络的序列到序列学习”论文,获得了NeurIPS 2024时间检验奖。该论文引入的编码器-解码器架构,使用多层长短期记忆网络(LSTM)将输入序列映射到固定维度的向量,再从向量解码目标序列,极大地拓展了自然语言处理的边界,为序列到序列的任务提供了一种高效的方法,是自然语言处理及机器学习领域的重要基石。
在演讲中,伊利亚详细介绍了过去十年在人工智能领域的研究工作。早期的工作中,他们致力于训练基于文本的自回归模型。当时,深度学习领域流传着一种假说:如果拥有一个庞大的神经网络,尤其是多层结构的神经网络,那么它就具备在瞬间完成人类所做之事的能力。这种能力涵盖了多个方面,无论是复杂的语言理解、逻辑推理,还是各种信息处理任务,都可以在瞬间被大型神经网络所执行。
自回归模型在当时是一项创新性的技术探索,其核心原理在于,如果模型能够精准地预测下一个词,那么它就有能力把握后续整个序列的正确分布。这一理念突破了以往对于模型预测能力的认知局限,为模型在语言处理等任务上提供了新的思路和方法。在实际应用方面,他们将这一模型应用于翻译任务,通过模型对语言序列的准确把握,实现了高效、精准的翻译效果。
回顾早期的技术手段,他们采用了LSDM以及预用并行化(pipelining)技术。虽然在如今的技术视角下,pipelining技术并非最佳选择,但在当时的技术条件下,它却发挥了重要作用。通过使用8个GPU,他们成功实现了3.5倍的加速,这在当时极大地提高了模型的训练和运行效率,为研究工作的推进提供了有力支持。
早期研究得出的结论对于后续人工智能的发展产生了深远影响。当时的研究发现,当数据集规模足够大,并且神经网络足够庞大时,成功几乎成为一种必然结果。这一结论为后续的研究工作奠定了重要基础,直接推动了预训练时代的到来。在预训练时代,GPT系列模型等得以蓬勃发展,这些模型不断拓展了人工智能在自然语言处理等领域的能力边界,使得人工智能在处理复杂任务时能够更加智能、高效,从而在各个领域得到广泛应用。
计算能力在不断地飞速提升,但是数据的来源主要依赖于互联网,相对单一且有限。互联网虽然蕴含着丰富的信息,但从本质上来说,它是一个相对封闭的体系,我们目前仅能从这一个互联网获取数据。随着时间的推移,互联网上的数据增长速度逐渐放缓,已经趋近于峰值状态,可用于训练模型的新数据越来越少。一旦数据增长停滞,预训练模型的进一步优化和发展将受到极大的制约,预训练时代也可能因此走向终结。
面对这一挑战,研究人员开始积极探索不同的发展方向。其中,“代理”概念备受关注,有望赋予模型更高级的智能和自主性,使其能够像智能体一样在复杂环境中进行决策和行动。合成数据也是一个重要的研究方向,通过人工合成数据的方式来补充有限的真实数据,为模型训练提供更多的素材。推理时计算则聚焦于优化模型在推理阶段的计算过程,提高效率和准确性,OpenAI的o1模型就是在这方面的一个尝试,它展示了人们在探索预训练后发展方向上的努力和创新。这些探索方向都为人工智能的未来发展提供了新的思路,有望突破当前预训练时代面临的数据瓶颈,推动人工智能技术迈向新的阶段。
好文章,需要你的鼓励
打造“同路人”文化体系,优质资源向优质伙伴倾斜,共同投入构筑长效竞争力,共建公平公正、阳光透明的合作环境。
Honeywell 与通信服务商 Verizon 建立战略合作,通过整合 AI、云计算和 5G 技术,为公用事业公司提供智能电表解决方案。该方案将帮助用户远程访问关键数据,优化能源使用和资源管理,提升电网可靠性和弹性,同时简化运营流程以缓解电网压力。
Google DeepMind 推出最新大规模多模态 AI 模型 Gemini 2.5 Pro,内置"思考"能力以处理复杂任务。该模型在多个行业基准测试中领先,展现出强大的推理和编程能力。与传统基于模式预测的 AI 不同,Gemini 2.5 Pro 能够深入分析信息,进行逻辑推理,并在考虑细微上下文后做出明智决策。
Google 发布新一代 AI 模型 Gemini 2.5,在 LMArena 评测中位居榜首。该模型采用递归分析方法提供输出,在推理、科学、数学和代码生成等方面表现出色。目前已向付费高级用户开放使用,并将在 2025 年投入 750 亿美元用于 AI 开发,以争夺未来万亿规模的 AI 市场。