借助 AI 构建 AI：开发者在安全隐忧增长的同时竞相跟进新应用

生成式人工智能作为一股变革力量的出现正在重塑软件的开发和部署方式。开发者们自然站在这一转型的最前沿，他们越来越依赖 AI 进行代码构建和 AI 代理的创建。

AI 代理（能够执行特定任务的智能软件）的需求开始对开发者的工作产生重大影响，并且其 AI 能力的发展速度超出了许多人的预期。

"AI 助手的功能已经远超代码生成，"Amazon Web Services 公司 Amazon Q 的 AI/ML 总监 Anoop Deoras 表示，"我们已经看到一些案例中 AI 助手的表现超越了人类能力。"

将代理引入平台和应用

Deoras 是在加利福尼亚州圣克拉拉举办的 DeveloperWeek 2025 的一个专题讨论会上发表上述言论的。这是一场企业开发者和行业高管的年度聚会。在今年的议程中，AI 及其众多影响成为核心话题，开发者们试图评估这项正在快速渗透到众多组织和社会各界的技术所带来的机遇和风险。

代理式 AI 新应用的增长促使 DigitalOcean Holdings Inc. 等公司重新调整其作为 AWS 和 Microsoft 等云计算巨头竞争对手的战略。

今年 1 月，DigitalOcean 推出了新的生成式 AI 平台，旨在实现在数分钟内构建和部署 AI 代理。根据 DigitalOcean 首席产品和技术官 Bratin Saha 的说法，这将成为云基础设施提供商的关键战场之一。

"目前大量活动集中在基础设施层面，"Saha 在本周的会议演讲中表示，"但我们可以看到，活动正在从基础设施层向平台和应用层面转移，并将引入代理。"

AI 代理已经对企业应用产生影响的例子并不难找。令人惊讶的是，AI 代理正在金融服务等技术风险规避领域被快速采用。

Independent Bank Corp. 正在使用 SnapLogic Inc. 提供的平台构建 AI 代理，用于欺诈检测和服务台咨询等场景。"他们能够注入情感来培训服务台人员，"SnapLogic 产品营销副总裁 Manish Rai 说，"这些情感包括'表现愤怒'或'表现恼怒'。通过使用助手，他们能够让服务台工作人员从回答一级问题转向三级问题的速度提高了 6 到 10 倍。"

民主化 AI 工具集

企业级生成式 AI 也正在影响开发者构建新应用时使用的工具集。技术界的重要人物正在迅速推出让开发者构建 AI 代理和集成主要 AI 模型的功能。尚待观察的是这些工具中有多少将是专有的，又有多少将是开源的。

一个例子是 Block Inc.（由 Twitter 联合创始人和前 CEO Jack Dorsey 领导的公司）在上个月发布的开源 AI 框架 Goose。作为一个免费开源工具，Goose 旨在简化 AI 代理的创建，并支持集成 OpenAI、DeepSeek 和 Anthropic 等领先的 AI 模型。

通过将 Goose 作为开源工具发布，Dorsey 试图实现 AI 开发的民主化，并使用基于社区的模式来塑造 AI 代理的发展。

"我们认为开源是实现最佳 AI 代理的途径，"Block 的数据和 AI 平台工程副总裁 Jackie Brosamer 在周四的会议演讲中表示，"最终，Goose 的最佳版本不仅来自于我们的小团队，还将来自于整个社区。"

对大语言模型的安全担忧

随着主要参与者在代理式 AI 领域争夺领导地位，技术界的另一个领域对通过广泛分布式大语言模型构建代理的风险越来越担忧。本月初，ReversingLabs 的一个研究团队发现了一种通过领先的 AI 模型平台 Hugging Face Inc. 托管文件分发恶意软件的新技术。

在此之前的研究已经记录了各种 AI 即服务提供商的模型库遭到突破的情况。网络安全行业的一位领先高管表示，担心向 AI 的全面转型并未伴随着必要的谨慎。

"对于大语言模型，人们认为既然是自动生成的代码，就一定是安全的，"Checkmarx Ltd. 的 CEO Sandeep Johri 告诉 SiliconANGLE，"认为它是安全代码的假设是错误的。"

Checkmarx 提供应用安全扫描解决方案，在企业开发环境中关联和优先处理安全信号。Johri 看到过黑客仅仅改变 AI 生成时使用的文件名中的一个字母或数字，然后插入恶意软件，随后被毫无戒心的开发者下载的例子。

"开发者是通向你代码库的途径，"Johri 说，"[黑客]正在针对开发者的行为。我有点困惑，为什么更多的 CISO 不关心恶意代码和恶意代码扫描。对代码进行全面扫描至关重要。"

快速发展的 AI 领域，加上不断增长的安全威胁证据，凸显了持续需要人类参与。AI 代理已经能够完成大量工作，但开发者也意识到人类监督仍将是一个关键要求。

"这些 AI 系统将成为软件开发者的伙伴，"亚马逊的 Deoras 说，"如何确保代理按照规范行事？让人类参与其中至关重要。"