新加坡CSA《AI系统安全指南及配套手册》：构建可信AI的全生命周期防护框架

作者简介：叶绍琛，蓝典信安董事长兼CEO，网络安全专家，人工智能安全研究者，公安部全国网警培训基地专家导师，中国下一代网络安全联盟常务理事，清华大学出版社网络安全教材作者，出版《移动安全攻防进阶》等多本网络安全技术专著。

人工智能（AI）技术的快速发展正在重塑全球经济与社会治理模式，但随之而来的安全风险也日益凸显。新加坡网络安全局（Cybersecurity Agency of Singapore, CSA）于2024年10月15日发布的《确保AI系统安全指南》（Guidelines on Securing AI Systems）及其配套的《AI系统安全补充指南》（Companion Guide），为全球AI安全治理提供了系统性解决方案。这两份文件不仅融合了传统网络安全实践与AI特有的安全挑战，还通过全生命周期管理框架，为组织在AI开发、部署与运营中构建可信赖的防护体系提供了明确路径。

一、指南发布的背景与核心理念

1. AI安全威胁的紧迫性

AI系统的独特属性使其面临双重风险：一方面，传统网络安全威胁（如供应链攻击、数据泄露）在AI场景中被放大；另一方面，AI特有的风险（如对抗性机器学习攻击、模型投毒、提示注入）对系统可靠性和社会信任构成直接威胁。例如，恶意攻击者可通过操控训练数据或输入样本，诱导模型生成错误结果，甚至引发安全事件（如自动驾驶系统误判交通信号）。

2. 新加坡的AI安全战略布局

此次指南是新加坡2024年发布的第三份AI安全文件，此前已推出《生成式AI治理框架》和《法院用户使用生成式AI工具指南》，形成覆盖技术研发、司法应用与系统安全的完整治理链条。这一系列举措体现了新加坡从“技术创新者”向“安全规则制定者”转型的战略意图。

3. 核心原则：安全设计（Secure by Design）

CSA强调，AI系统应像传统软件一样实现“默认安全”，即在设计阶段即嵌入安全考量，而非事后补救。这一原则要求开发者在模型训练、数据输入、接口设计等环节预先评估风险，并通过跨职能协作（如安全团队与数据科学家的深度配合）实现全链条防护。

二、全生命周期管理的五个关键阶段

CSA将AI系统生命周期划分为五个阶段，每个阶段均需实施针对性的安全控制措施：

1. 规划与设计阶段：风险认知与团队构建

• 威胁意识提升：组织需开展AI安全培训，覆盖LLM（大语言模型）安全、对抗性攻击原理等主题，确保决策者（如产品经理）与技术人员（如AI工程师）具备统一的风险认知。
• 跨职能团队组建：安全专家需早期介入，与开发团队共同制定风险评估框架，识别数据隐私、模型偏见等潜在问题。

2. 开发阶段：供应链与资产保护

• 供应链安全：AI开发依赖大量第三方资源（如开源模型库、训练数据集），需通过代码审计、数字签名验证等手段确保组件来源可信。例如，使用自动工具扫描开源库中的恶意代码，并建立模型版本追踪机制。
• 数据安全强化：对敏感数据（如个人身份信息PII）实施匿名化处理或差分隐私技术，避免训练数据泄露导致模型逆向攻击风险。

3. 部署阶段：基础设施与事件响应

• 红队测试与基准验证：通过模拟对抗性攻击（如对抗样本注入）评估模型鲁棒性，并建立基线性能指标以监测异常。
• 零信任架构应用：基于最小权限原则控制对模型API和日志的访问，防止未授权操作引发连锁风险。

4. 运营与维护阶段：动态监控与漏洞管理

• 输入输出监控：记录所有用户查询与模型响应，检测异常模式（如高频重复请求可能提示试探性攻击）。
• 漏洞披露机制：设立标准化流程，鼓励外部研究人员报告安全缺陷，并快速修复。

5. 生命周期结束阶段：数据与模型的安全退出

• 模型退役策略：彻底删除不再使用的模型权重与训练数据，防止残留信息被恶意提取。
• 硬件级清理：对存储介质进行物理销毁或多次覆写，确保敏感信息不可恢复。

三、配套指南的实践价值：从理论到落地的桥梁

《AI系统安全补充指南》作为主指南的操作手册，通过具体案例与控制措施，帮助组织将抽象原则转化为可执行步骤：

1. 对抗性攻击防御实例

• 输入过滤与鲁棒性增强：建议使用对抗训练（Adversarial Training）提升模型对恶意输入的容忍度，并部署输入验证层（如检测异常字符序列）拦截攻击尝试。
• 提示工程优化：针对生成式AI的提示注入攻击，推荐使用“指令加盐”（在用户指令外包裹不可见标记）与动态护栏（Dynamic Guardrails）技术，限制模型输出范围。

2. 供应链风险管理工具

• 软件物料清单（SBOM）：要求供应商提供完整的组件清单及依赖关系图，便于追踪漏洞影响范围。
• 自动化审计工具：集成MITRE ATLAS（对抗性威胁场景库）与OWASP Top 10 for LLMs，自动化检测模型与数据管道中的已知风险模式。

3. 社区协作与持续更新机制

• 开放反馈渠道：CSA通过公众咨询收集了来自28家企业的意见，确保指南贴合实际需求。例如，科技公司建议增加对边缘计算场景的安全支持，这一内容已被纳入补充指南。
• 动态迭代：配套指南将定期更新，纳入新兴威胁（如量子计算对加密算法的冲击）与最佳实践。

四、挑战与未来方向

1. 传统安全与AI安全的融合难题

AI系统的自主决策特性使得传统基于规则的安全检测方法失效。例如，防火墙无法识别对抗样本，而模型内部的黑盒性质增加了漏洞排查难度。CSA建议采用“纵深防御”策略，结合传统IT安全工具（如日志分析）与AI专用技术（如模型解释性分析）构建多层防护。

2. 全球化供应链的信任构建

跨国开发与开源生态的普及加剧了供应链风险。指南呼吁建立国际互认的AI安全认证标准，并推动数据主权协议，确保跨境数据流动符合各国法规。

3. 伦理与安全的平衡

AI安全不仅涉及技术防护，还需兼顾公平性、透明度等伦理问题。例如，过度强化安全控制可能导致模型性能下降或加剧算法偏见。CSA提出通过“安全影响评估”（SIA）工具量化不同措施的代价，支持组织在风险与效用间做出权衡。

五、结语

新加坡CSA的《AI系统安全指南》通过全生命周期管理与社区驱动的实践框架，为全球AI安全治理树立了新范式。其核心价值在于：

• 系统性：覆盖从设计到退役的所有环节，避免安全盲区。
• 可扩展性：配套指南的持续更新机制适应技术快速演进。
• 协作性：整合政府、企业与学术界的多方智慧，推动安全生态共建。

随着AI技术渗透至关键基础设施与公共服务领域，此类指南将成为各国构建可信AI体系的必备参考。未来，如何将新加坡经验与本地化需求结合，并在国际层面形成统一标准，将是全球AI安全共同体面临的共同课题。