2023-2024年度美国网安局人工智能路线图

1

（1）CISA

美国网络安全和基础设施安全局，简称CISA，是美国国土安全部（Dept. Of Homeland Security, DHS）下属机构^[4]，前身为2007年DHS国家保卫主管部门项目（DHS National Protection and Programs Directorate），在2018年依据《美国网络安全和基础设施安全局法案》（CISA Act of 2018）正式成立^[5][6]。根据官网介绍，CISA是“美国联邦网络安全基础设施安全和弹性（resilience）的国家协调者和行动领导”。CISA将其使命定义为“领导国家力量，努力理解、管理并减少对于美国网络和物理基础设施的风险”，并以“为美国民众实现安全、弹性的关键基础设施”为愿景。CISA的工作领域主要包括网络安全、基础设施安全和应急通信（emergency communications）^[7]。该机构下属六个部门和多个任务实施办公室；六个部门分别是网络安全部、基础设施安全部、应急通信部、国家风险管理中心、整合行动部（Integrated Operations）和利益相关方参与部（Stakeholder Engagement）；任务实施办公室则分别负责机构人力资源、财务管理、经济分析、立法工作及对外培训和联络等事项。CISA还运营有一个GitHub主页，用于公开发布该机构所开发的一些网络安全工具和软件、代码资源^[8]。

CISA的现任主任是Jen Easterly。根据官网介绍，她毕业于西点军校，拥有牛津大学哲学、政治和经济学学位，曾任摩根斯坦利公司业务弹性部（Firm Resilience）负责人并协助成立了摩根斯坦利的网络安全聚合中心（Cybersecurity Fusion Center）。在美国政府和部队服役逾20年；曾任美国总统奥巴马的特别助理、美国国务卿兼国家安全顾问康多莉扎·赖斯（Condoleezza Rice）的行政助理以及美国国家安全局反恐部门副手等职；一度在海地、巴尔干、伊拉克和阿富汗等地从事情报和网络活动，并负责成立了美国的首支网络部队。获有铜星勋章^[9]。

（2）美国国家人工智能战略

CISA在其官网的一篇新闻稿中明确，2023-2024年度人工智能路线图“是一个与国家人工智能战略相一致的全机构计划”，但未明确“国家人工智能战略”的具体所指。据检索，当前最新的人工智能战略性文件是拜登政府及其总统办公室、美国国家科学技术理事会（National Science & Technology Council）人工智能专门委员会（Select Committee on Artificial Intelligence）于2023年5月份发布的《国家人工智能研究和发展战略计划（2023年更新）》^[10][11]。该文件首先将人工智能确立为国家要务（AI as a National Priority），并随后定义了九项总体战略，包括对基础和负责任人工智能研究进行长期投入；开发人与人工智能合作的有效方法；理解并解决人工智能相关的道德、法律和社会问题；确保人工智能系统安全无害、开发人工智能训练和测试的公开共享数据集、强化人工智能系统测评基准和标准化等等。CISA的人工智能路线图主要聚焦于人工智能系统安全领域。

（3）第14110号行政令

美国现任总统拜登2023年10月30日签发题为“人工智能安全、无害且可信任开发和使用”的行政令（14100号行政令）^[12]，CISA将该文件作为其路线图制定的主要依据之一。第14100号行政令重点关注人工智能技术安全，就前沿人工智能技术所关联的多项重大风险作出控制措施。行政令在第二部分“政策与原则”第一项提出，“人工智能必须安全无害”，并要求从智能系统稳健、可靠、可复制的标准化测评方式及其与生物技术、网络安全和关键基础设施的关联风险等方面解决问题。行政令第4.1条要求美国商务部、NIST及相关机构在270天内建立人工智能产业指引和最佳实践标准；第4.2条要求美国商务部依据美国《国防生产法》等法律规定，对开发或意图开发两用基础模型，或者持有此类模型权重，或者收购/开发/拥有/生产达到一定规模或者算力的计算设施集群的企业、个人或组织实施强制定期报告、审查和合规义务。4.2条还要求开发两用基础模型（dual-use foundational model）的公司依据NIST所发布的人工智能红队测试指南进行安全性评估，并在NIST发布相关指南之前，说明公司对于可能导致下列事项的发生门槛降低的红队测试结果：非国家行动体获取或利用生物武器、发现或利用软件漏洞、影响或歪曲事实、程序自我复制或传播。此外，公司还应说明为实现前述安全目标所采取的相关措施。行政令特别要求任何使用10²⁶整数或浮点运算算力训练的模型、主要基于生物序列数据进行训练并使用大于10²³整数或浮点运算算力训练的模型，以及数据吞吐能力超过100GBPS或者运算能力达到每秒10²⁰次整数或浮点运算以上的智能计算中心完成前述合规步骤，且该审查标准由国土安全部、能源部、科学技术政策办公室等多个政府部门的秘书处联合负责定期更新。第4.3条规定了在关键基础设施和网络安全领域管理人工智能的工作分工。第4.4条就人工智能所关联的CBRN威胁（化学、生物、放射及核威胁）明确了特别控制措施，包括对CBRN威胁所关联的生物病原体数据集进行管理以及核酸序列预测技术的滥用；第4.5条明确了对合成内容（synthetic content）及其关联风险的管理控制措施。行政令还就“人工智能模型”、“人工智能红队测试”（AI red-teaming）、“犯罪预测”（crime forecasting）、“差分隐私保证”（differential-privacy guarantee）、“两用基础模型”（dual-use foundation model）、“自痊愈网络”（self-healing network）、“水印”（watermarking）等多项技术术语进行了定义。

2

鉴于人工智能相关问题的复杂性，对于概念的共同理解是解决问题的基础。CISA路线图文末对多个关键术语进行了定义，具体包括：

1. 人工智能（Artificial Intelligence, AI）

CISA路线图中关于人工智能的定义援引了2020年美国人工智能倡议法案在有关人工智能的定义，具体指代：

“一个基于机器的系统，能够在给定一个由人类定义的目标集合的情况下，做出足以影响实体或虚拟环境的预测、推荐或决策。人工智能系统使用基于机器或者人类的输入以达成如下目标：A. 感知实体或虚拟环境；B. 以自动化分析的方式将前述感知抽象为模型；C. 通过模型推理（model inference）构建（formulate）信息或行动选项。”

人工智能包括了机器学习。根据第14100号行政令，机器学习是指“一个方法集合，可被用于在一个基于任务的数据集上训练人工智能算法以提升其性能。”

2. 人工智能保证（AI Assurance）

CISA指出，人工智能社区和信息安全社区对于保证一词有着不同的理解和定义。由于CISA路线图与两个领域都有关联，故文件中若提到“保证”（assurance）一词，即包括了两个社区对于该词的理解。具体包括：

·人工智能保证（AI Assurance）：指一个应用于人工智能工程生命周期各个阶段的过程，用于确保任何智能系统所输出的结果是有效的（valid）、经认证的（verified）、数据驱动的（data-driven）并且对外行人也是可信（trustworthy）且可解释（explainable）的，在部署场景（context）下是道德的，并且对用户是公平（fair）的。

·安全保证（Security Assurance）：衡量一个信息系统的安全特性（security features）、实践（practices）、流程（procedures）和架构（architecture）是否准确地服务于（meditate）并且贯彻了（enforce）安全政策。

3. 人工智能安全（AI Security）

CISA认为，人工智能安全是一个囊括了网络安全下属数个不同领域的术语。CISA路线图中的人工智能安全主要涉及如下三个领域：

·人工智能在网络安全领域的运用（Applications of AI for cybersecurity）：CISA积极将人工智能工具运用于威胁发现、遏制、漏洞评估等目的。

·人工智能赋能系统的网络安全（Cybersecurity for AI-enabled systems）：CISA正将传统网络安全原则和实践运用于人工智能赋能系统的保护。此外，对于由人工智能赋能的软件系统，CISA还通过鼓励安全设计（secure-by-design）最佳实践的方式推进人工智能赋能系统的安全。

4. 红队测试（Red Teaming）

CISA路线图引用了第14100号行政令关于红队测试的定义，即：

“...一种有结构的测试行为，旨在寻找人工智能系统中的缺陷和漏洞，一般在一个受控环境中且与人工智能系统的开发者合作进行。人工智能红队测试一般由专门的‘红队’采用对抗性方法（adversarial methods）实施，旨在识别缺陷、漏洞或者逻辑错误，比如有害的或歧视性的人工智能系统输出、未能预见的或不受欢迎的系统行为、有限性（limitations），或者潜在滥用行为所关联的风险。”

5. 对抗性机器学习（Adversarial Machine Learning）

对抗性机器学习指恶意网络行动者（malicious cyber actors）以人工智能技术供应链各环节漏洞为攻击目标，意图引发超出系统所有者和运营者意图的特定系统行为。CISA推荐参考NIST所发布的《对抗性机器学习 攻击方式和缓解措施 分类和术语》报告^[13]以及MITRE公司所运营的ATLAS知识库所发布的《对抗性机器学习101》^[14][15]以获取有关对抗性机器学习的更多信息。

3

CISA路线图以“设计安全”（Secure-by-design）为核心理念。文件指出，人工智能所面临的安全挑战总体上与前一代软件安全挑战相同，即制造商没有遵从设计安全理念，从而将安全风险转嫁至消费者身上；尽管人工智能软件系统与传统软件系统存在一定区别，基本安全实践仍然适用。CISA认为，人工智能系统生产商应当遵循安全设计原则。这意味着生产商应当面向消费者承担系统安全后果、以透明度和可问责性引领产品开发，并赋予安全设计以高业务优先级。CISA强调，随着人工智能愈发深入地嵌入各类关键系统，安全必须作为一项核心要求自始嵌入系统开发的整个周期。

与此同时，CISA路线图援引了该机构于《CISA战略计划 2023-2025》^[16]中所提出的四项战略性工作目的：

·目标1 | 网络防御（Cyber Defense）——将人工智能工具用于防御传统网络空间威胁和新兴的人工智能威胁，同时将这类系统作为人工智能网络威胁的防御客体进行保护。

·目标2 | 风险遏制和弹性（Risk Reduction & Resilience）——鉴于关键基础设施的运营管理组织愈发频繁地将人工智能系统用于维持和增进弹性，CISA将引导并支持对于贯彻了设计安全理念的人工智能软件系统负责任且风险自觉（risk-aware）的运用。

·目标3 | 行动合作（Operational Collaboration）——随着人工智能愈发促进一个瞬息万变的威胁格局（threat landscape）的生成，CISA将向美国公众——包括关键基础设施领域——传递有关威胁和风险的信息。此外，人工智能企业以及人工智能用例也可能面临定向威胁，并且可能需要专门的响应服务或者保护。

·目标4 | 机构统一（Agency Unification）——CISA将负责任地将人工智能软件系统嵌入整个机构（此处主要指自动化系统的运用对于公众权益的影响^[17]）；招募并培养一支有能力最大化利用人工智能软件系统能力以实现CISA的使命的工作队伍。

4

图 1 五条努力路线概览

五条努力路线（Line of Effort, LOE）构成了CISA路线图的核心内容。它们分别是：

1.  LOE1 | 负责任地使用人工智能支持CISA的使命

CISA路线图表示，CISA将使用人工智能驱动的软件工具强化网络防御和保护关键基础设施，并同时确保对人工智能的使用是负责、道德且无害的。这方面的预期成果包括：评估机构现有的网络安全项目，探寻人工智能的潜在运用途径，并为在合适位置融入人工智能提供资源、要求和监管措施。具体包括五项目标：

(1) 目标1.1：建立对于CISA使用人工智能的治理和监管机制。具体而言，CISA将依据NIST《人工智能风险管理框架》（AI RMF）^[18]建立自己的人工智能管理档案以帮助实现人工智能安全和隐私控制；落实一个在网络防御任务背景下采用人工智能的纲领性架构；评估活跃的人工智能用例；开发生成式技术在工作场景下的使用指南；处理人工智能数据获取和使用问题。

(2)目标1.2：收集、评估并优先处理（Collect, review & prioritize）人工智能使用案例以支持CISA的任务。具体而言，CISA将创建一个机构的人工智能使用案例库（AI Use Case Inventory）以达成上述目标。案例库将覆盖对于现有IT系统的改进、合作工具、工作流程、关键基础设施防御项目以及受推荐的人工智能模型训练数据集。

(3) 目标1.3：开发下一代人工智能赋能技术的应用战略。为了在保障隐私和公民权利的同时在应用人工智能方面保持领先地位，CISA将密切协调人工智能相关的研发工作，以解决任务需求方面的差距。

(4) 目标1.4：将网络防御、事件管理和矫正程序（redress procedures）融入人工智能系统和人工智能过程。具体而言，CISA将为人工智能使用建立事件响应能力，包括必要的补救措施和矫正程序。此外，CISA还将在回顾信息技术安全实践的同时采纳一种对于人工智能系统的持续测评方法，以实现人工智能技术的安全嵌入。

(5) 目标1.5：为限制CISA人工智能使用中的偏见（bias）探索全局性的方法。具体而言，CISA将在人工智能开发、测试、部署和维护过程中探索控制偏见的全局性方法。此外，CISA还将就人工智能使用案例库的训练数据和公众告知（public notice）开发一个质量评估机制。

(6) 目标1.6：为支持CISA的网络安全任务，负责任且安全地部署人工智能系统。具体而言，CISA将探索用于网络防御的人工智能能力的识别、测试、评估和部署，包括用于检测美国政府软件、系统和网络中的关键漏洞并从中吸取经验。

2.  LOE2 | “保证”（Assure）人工智能系统

CISA路线图表示，CISA将与包括联邦机构、私营企业、州、地方、部落以及领地政府（SLTT）等利益相关方合作，开发最佳实践和指南，以评估和促进对于设计安全理念人工智能软件系统的运用。这方面的预期成果包括：尽早发现人工智能系统运用中的网络安全风险和安全弹性挑战以充分化解针对关键基础设施的威胁；使得现有的安全指南和服务适应于人工智能软件系统，包括红队测试以及贯彻了安全设计理念的人工智能软件设计；使得利益相关方了解人工智能漏洞如何嵌入既有的漏洞披露（vulnerability disclosure）协作体系^[19]。具体而言，包括三项目标：

(1) 目标2.1：评估人工智能在关键基础设施领域的运用所带来的网络风险。CISA将评估部署人工智能在关键基础设施系统中造成易受物理攻击和网络攻击的途径，并探索应对这些漏洞的方法，包括采纳NIST人工智能风险管理框架（NIST AI RMF1.0）以及其他适当的安全指南，以向关键基础设施所有者和运营者提供可用的安全指南和最佳实践。

(2) 目标2.2：与关键基础设施利益相关方接触以认定人工智能运用所带来的安全和弹性挑战。

(3) 目标2.3：捕获人工智能在联邦企业中被使用的广度。对软件物料清单（Software Bill of Materials, SBOM^[20]）工具链进行评估——包括SBOM格式标准以及自动化SBOM收集和翻译软件——以评定人工智能软件的覆盖范围。

(4) 目标2.4：为安全人工智能系统的收购、开发和运营开发最佳实践与指南。除此之外，CISA还将为人工智能技术的安全使用提供指南，并将其融入CISA适用于人工智能及相关系统的跨部门网络安全目标（Cross-Sector Cybersecurity Performance Goals）^[21]。

(5) 目标2.5：驱动采用强大的人工智能系统漏洞管理实践（vulnerability management practices）。CISA将开发用于强化和测试人工智能系统的工具和方法，并将适当的对抗性机器学习过程输出和人工智能漏洞归入美国国家漏洞数据库（National Vulnerability Database）^[22]。为此，需要按照协同漏洞披露机制（Coordinated Vulnerability Disclosure, CVD）^[23]对人工智能系统漏洞进行运营测试，并为人工智能系统和软件安全测试以及红队测试起草战略指引。开源软件应当被重点关注。

(6) 目标2.6：将安全设计倡议（Secure by Design Initiative）融入人工智能系统。CISA尤其鼓励技术产品制造者本着安全设计理念开发和制造他们的产品，确保消费者获得的产品直接就是安全的。为此，CISA会把人工智能安全融入安全设计项目（Secure by Design program）^[24]并开发一个研发流程以持续理解人工智能系统安全，并为此探寻合适的道路。

3.  LOE3 | 保护关键基础设施免受恶意使用人工智能的侵袭

CISA路线图表示，CISA将与其他政府机构以及开发、测试、评估人工智能工具的产业界伙伴合作，评估对于国家关键基础设施的人工智能威胁，并推荐应对方案。具体而言，CISA寻求达成如下代表性目标：首先，通过与利益相关方接触并实行“桌面演习”（tabletop exercise），保护人工智能系统免受对抗性操纵或者滥用；其次，通过发行和传播如决策支持材料，比如关键基础设施人工智能系统风险管理指南，支持贯穿关键基础设施领域的风险管理实践。包含三项具体目标：

(1)  目标3.1：定期与涉及开发人工智能工具的关键基础设施利益相关方合作伙伴接触以评估和解决安全担忧，并评估对合作伙伴和利益相关方的教学方法。具体而言，CISA将以既有的机制为基础，推动人工智能安全领域的协同合作。美国信息技术部门协同理事会（Information Technology Sector Coordinating Council, IT SCC）^[25]下属人工智能工作小组也将持续为人工智能安全挑战提供意见并为CISA的各项人工智能倡议提供反馈。CISA还将在网络防御联合协作计划（Joint Cyber Defense Collaborative, JCDC）^[26]项目下建立名为JCDC.AI的行动项目以促进对于影响人工智能系统的威胁、漏洞和应对方案的紧密协作。

(2) 目标3.2：利用CISA伙伴关系和工作组实现人工智能驱动的威胁情报共享。CISA将利用机构合作伙伴关系以及工作组（包括JCDC.AI）以就人工智能驱动的威胁实现情报共享。CISA将与产业界、联邦和国际伙伴接触以理解不断涌现的威胁并将它们与更广泛的社区共享。

(3) 目标3.3：评估关键基础设施所面临的人工智能风险。面对每个关键基础设施领域的个性化需求和能力，并鉴于网络安全对手愈发采用人工智能驱动的软件系统且网络威胁格局因人工智能而扩大，CISA将发布相关材料，以唤起对于不断涌现的风险的警觉。CISA还将评估风险管理措施和方法论以认定对于人工智能风险的恰当分析框架和应对措施，并识别必要的巩固措施。

4. LOE4 | 就有关人工智能的关键工作，进行机构间、国际伙伴间以及与公众的沟通合作

CISA路线图表示，CISA将支持国土安全部所领导的有关人工智能驱动软件的机构间流程，包括为美国政府的总体人工智能战略制定政策方案，以及支持国土安全部关于人工智能软件政策的整体行动方案。此项努力路线也包含与国际伙伴进行合作以推动形成全球人工智能最佳实践和原则。具体而言，CISA追求实现机构的利益相关方围绕人工智能安全的清晰指南达成一致，并通过评估在美国国内机构间以及在国际伙伴间合作开发的人工智能指南和政策文件的比例来衡量工作成果。包含五项具体目标：

(1) 目标4.1：支持开发国土安全部针对人工智能政策问题的整体行动方案。CISA将与国土安全部的相关实体紧密合作，如国土安全部人工智能工作组（DHS AI Task Force），以在推进CISA自身人工智能有关工作的时候，支持开发国土安全部针对人工智能政策问题的整体行动方案。

(2) 目标4.2：参与机构间有关人工智能的政策会议和工作小组，以促进形成连贯的、合作性的联邦政府人工智能政策方法。

(3) 目标4.3：基于对人工智能政策文件的战略性、国家层面的视角，形成CISA自身的政策立场。CISA将基于战略性和国家层面的视角应对有关人工智能的政策文件，确保自身的战略、要务和政策与机构间规则（doctrine）保持一致。CISA将驱动政策决定以支持关键基础设施股票（critical infrastructure equities）并将国家战略层面的视角融入关键人工智能政策文件。此外，为了强化有关人工智能保证的公众意识，CISA还将开发关于人工智能保证的刊物。

(4) 目标4.4：确保CISA的战略、要务和政策框架与机构间政策和战略保持一致。CISA将致力于机构间合作以确保CISA的政策和战略与政府对于人工智能的总体方针保持一致。

(5) 目标4.5：与国际伙伴就全球人工智能安全问题进行接触。CSIA将与其他联邦部门和国际伙伴共同开发和敲定人工智能安全指南，就人工智能全球安全问题与国际伙伴接触，鼓励采纳安全人工智能的最佳实践。

5. LOE5 | 强化工作队伍的人工智能能力

CISA将持续就人工智能软件系统和技能对其工作队伍进行教育，并积极地招募具备人工智能专业技能的实习生、会员（fellows）和将来的雇员。CISA会确保其内部培训得当地反映了人工智能软件系统的法律、道德和政策方面内容，并且新招募的成员理解这些内容，而不是仅了解技术方面内容。包含四项具体目标：

(1) 目标5.1：连接并且强化CISA工作队伍中既存的人工智能专业素养。作为美国的网络防御机构，CISA已经拥有一支由网络安全专家组成的强大的工作队伍。在此基础上，CISA将在内部识别并充分发挥既有的人工智能专业素养。CISA还将在内部建立一个人工智能实践社区，以促进内部参与，同时维系每个人工智能活动领导部门间的关键联结点，使得CISA能够紧密合作以拓展其人工智能能力。

(2) 目标5.2：招募具备人工智能专业技能的实习生、会员及人员。CSIA将通过网络人才管理系统（Cyber Talent Management System, CTMS）^[27]等多种途径招募人员，以维系和发展自身的人工智能工作队伍。

(3) 目标5.3：就人工智能对CISA的工作队伍进行培训。CISA将持续为其雇员提供培训机会，帮助其具备足够的知识与技能以理解、革新以及得当地运用由人工智能带来的各种现有的和新兴的能力。

(4) 目标5.4：在CISA工作中所有运用了人工智能的领域，确保CISA的内部培训得当地融入了人工智能相关的法律、道德和政策考量，而不仅仅是技术技能。

5

多家媒体对CISA路线图进行了报道，一些产业界人士对此发表了评论。KnowBe4（一家提供IT安全培训服务的公司）的创始人兼首席执行官Stu Sjouwerman对CISA路线图将安全责任置于人工智能开发者而不是消费者的做法给予高度评价。他指出：“过去，人工智能软件制造商一直抵制构建贯彻了设计安全理念的软件产品，把负担转嫁给消费者。CISA人工智能路线图要求人工智能系统制造商在整个开发生命周期中贯彻安全设计原则，包括将设计安全作为首要业务重点、为安全后果负责，并以彻底的透明度和问责制领导产品开发。”^[28]

“这是朝着正确方向迈出的一步——表明政府正在认真对待人工智能的益处和潜在威胁。这份路线图描绘了利用人工智能增强网络安全、保护关键基础设施和促进合作的全面战略，还强调了人工智能系统安全设计和开发的重要性。”Joseph Thacker，AppOmni（一家位于旧金山的SaaS安全服务公司）的人工智能安全研究员评论道，“路线图非常全面，基本毫无遗漏。但在安全方面，真正重要的是细节，在新技术方面则更是如此。CISA保持不掉队能力可能取决于他们吸纳人才或培训内部人员的能力，而这两者都很难大规模实现。”^[29]

相关政策活动仍在进行中。3月26日，CISA的首席收购官办公室（Office of the Chief Acquisition Executive）举办了一场产业界参与活动，题为“面向未来系列：对CISA人工智能路线图和人工智能安全倡议的讨论”^[30]。