“大模型的应用从‘上新品’逐渐进入‘强应用’阶段,更好的通用人工智能仍在路上。”10 月 29 日,蚂蚁数科CTO王维在香港金融科技周2024 分享时指出。
两年前,大语言模型(LLM)的出现,引发了全球科技从业者的普遍关注和行业热潮。ChatGPT 月活用户数以史上最快速度达到 1 亿,AI 行业迎来“ChatGPT时刻”。经过一段时间的狂奔,LLM性能阶段性趋于饱和,大模型底层推动力逐渐收敛到少数拥有核心数据及算力资源的公司,行业注意力也更多转到了以Agent为代表的行业应用侧。

如何解放 LLM 应用的局限性。王维强调,高质量的行业数据和专业工具是 AI 继续发展的关键壁垒和门槛,行业应用需要系统性地解决专业严谨和安全可信等问题。蚂蚁数科“蚁天鉴”产品,集大模型安全测评与防御为一体,让大模型在生产和使用过程中更安全、可控、可靠。
他认为,高质量数据可以更好地模拟客观世界,提升模型的准确性和稳定性。过去十年,伴随着AI发展的范式转移,对数据的要求也在持续改变。机器学习从“以模型为中心”转向“以数据为中心”。在当下的 LLM时代,行业应用要做到安全可信,其核心是如何结合专业人工+AI算法的高效标注,产生高质量的标注数据。
而面向未来的AGI时代,随着互联网公开数据逐步耗尽,以及GPT-o1带来的强化学习训练新范式,都预示着数据合成的重要性进一步提升。王维指出,如何通过仿真引擎、自博弈(self-play)强化学习的方式,合成出更多互联网所不覆盖的高质量、高价值领域数据,将是到达AGI时代的关键。

他也提醒道,AI 是把双刃剑,AIGC滥用所带来的风险需要系统性应对。不久前,“AI 教父” 杰弗里·辛顿(Geoffrey E. Hinton)在采访中再次强调了其对AI安全问题的强烈担忧。他与另外两位图灵奖得主约书亚·本吉奥(Yoshua Bengio)、姚期智及来自世界各地的几十位科学家共同签署了一封公开信——“AI 安全国际对话威尼斯共识”,呼吁为推动人工智能的发展制定更好的保障措施。
他们在公开信中警告道,“随着人工智能的快速发展,这些‘灾难性的结果’随时可能发生。”究其问题根源,在于 AIGC 的滥用不仅会产生虚假信息和网络钓鱼攻击,还可能引发全球性的诈骗活动。其中,值得关注的一大风险来源便是Deepfake, 即基于深度学习算法,从大量的视频和图像数据中学习,伪造出逼真的面部动画和语音。
王维介绍,蚂蚁数科旗下身份安全品牌 ZOLOZ 为此专门研发了综合防控产品 ZOLOZ Deeper,以应对在开户、登录、支付等各种场景的深度伪造风险。在服务印尼某头部银行后,产品上线一个月时间内实现了 Deepfake 风险“0 漏过”。
好文章,需要你的鼓励
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。