美国网络安全公司发布人工智能AI红队恶意用例评估报告

Recorded Future威胁情报分析师和研发工程师合作测试了人工智能（AI）的4个恶意用例，以展示威胁行为者使用的“可能性的艺术”。Recorded Future测试了当前人工智能模型的局限性和功能，范围从大语言模型（LLM）到多模态图像模型和文本到语音（TTS）模型。所有项目都是使用现成和开源模型的组合进行的，无需微调或培训，以模拟真实的威胁行为者访问。

根据当前工具的可用性以及这4项实验的结果，Recorded Future评估认为，2024年的人工智能的恶意使用很可能来自有针对性的深度造假和影响力行动。深度造假已经可以使用开源工具制作，并用于将人工智能生成的音频和视频与电话会议和基于IP的语音传输（VOIP）软件相结合，在社会工程活动中模仿高管。为影响力活动制作内容的成本可能会降低100倍，人工智能辅助工具可以帮助克隆合法网站或创建虚假媒体机构。恶意软件开发人员可以滥用人工智能以及YARA规则等现成的检测来迭代恶意软件菌株并避免检测。所有资源级别的威胁行为者也可能受益于使用人工智能进行侦察，包括识别易受攻击的工业控制系统（ICS）设备和通过开源情报（OSINT）对敏感设施进行地理定位。

当前的限制集中在性能接近最先进模型的开源模型的可用性以及商业解决方案安全护栏的旁路技术。鉴于深度造假和生成式人工智能模型的多样化应用，预计多个部门将对这些技术进行大量投资，同时也增强开源工具的功能。这种动态以前在攻击性安全工具（OST）领域中被观察到，威胁行为者广泛采用开源框架或泄露的闭源工具，例如Cobalt Strike。成本和时间的显著减少可能会导致各种技术级别的威胁行为者使用这些攻击媒介来针对越来越多的组织。

在2024年，各机构需要扩大攻击面的概念，包括高管的声音和肖像、网站和品牌以及设施和设备的公共形象。此外，各机构需要开始为人工智能的更高级用途做好准备，例如开发能够逃避YARA检测的自我增强恶意软件，这需要采用Sigma或Snort等更隐蔽的检测方法。

主要发现

用例1：冒充高管的深度造假运用

目前，开源功能允许使用公开的视频片段或音频片段（例如采访和演示）来预先录制深度造假生成。

威胁行为者可以使用短片（小于1分钟）来训练这些模型。然而，获取和预处理音频剪辑以获得最佳质量仍然需要人工干预。

更高级的用例，例如实时克隆，几乎肯定需要威胁行为者绕过商业解决方案的同意机制，因为开源模型的延迟问题可能会限制其流式音频和视频的有效性。

用例2：冒充合法网站的影响力操作

人工智能可用于有效地大规模生成针对特定受众的虚假信息，并可生成复杂的叙述以实现虚假信息目标。

除帮助人类克隆合法的新闻和政府网站外，人工智能还可以用于根据生成的文本自动策划丰富的内容（例如真实图像）。

与传统的巨魔农场和人类内容作者相比，开展虚假信息活动的成本可能会降低数百倍。

然而，创建模板来冒充合法网站是一项艰巨的任务，需要人工干预才能产生可信的欺骗内容。

用例3：逃避YARA规则的自我增强恶意软件

生成式人工智能可通过增强小型恶意软件变体和脚本的源代码来规避基于字符串的YARA规则，从而有效降低检测率。

然而，当前的生成式人工智能模型在创建语法正确的代码和解决代码检查问题方面面临着一些挑战，并且在混淆源代码后很难保留功能。

用例4：工业控制系统（ICS）和航空图像侦察

多模态人工智能可用于处理公共图像和视频，以对设施进行地理定位并识别ICS设备，包括设备制造商、型号、软件以及设备如何集成到其他被观测系统中。

将这些信息大规模转化为可操作的目标数据仍然具有挑战性，因为仍然需要人工分析来处理提取的信息以用于物理或网络威胁操作。

缓解措施

高管的声音和肖像现在已成为组织攻击面的一部分，各组织需要评估有针对性攻击中的冒充风险。大额支付和敏感操作应使用除电话会议和 VOIP 外的多种替代通信和验证方法，例如加密消息或电子邮件。

各机构，特别是媒体和公共部门的组织，应跟踪其品牌或内容被用来开展影响力操作的实例。

如果威胁行为者能够开发人工智能辅助的多态恶意软件，各组织应投资于多层和行为恶意软件检测功能。在可预见的未来，Sigma、Snort和复杂的YARA规则几乎肯定仍将是恶意软件活动的可靠指标。

应仔细审查和清理敏感设备和设施的公开图像和视频，特别是关键基础设施和敏感部门，如国防、政府、能源、制造和运输。

展望

Recorded Future研究人员能够证明4种恶意用例的可行性，而无需使用模型微调等昂贵的技术。通过具体实验，我们评估到2024年，人工智能很有可能融入社会工程和信息行动。

更高级的用例，例如恶意软件开发和侦察，可能会受益于生成式人工智能的进步，并在更长的时间内变得可行。拥有足够计算能力和训练数据集、资源充足的行动者可能会在更广泛地扩散前采用这些技术。在2024年，成本的下降和模型性能的进步是肯定的，人工智能技术的扩散很可能随之而来。正如在攻击性安全工具（OST）领域所观察到的那样，先进的功能可能会落入更广泛的行为者手中，无论是通过开源模型的追逐还是通过先进闭源模型的泄露。

已确定的局限性集中在无法完全消除这些用例中的人为干预。在可预见的未来，诸如编辑音频和视频、清理克隆网站模板、验证恶意软件执行以及处理侦察数据等“人机交互”任务可能会持续存在。然而，代理的进步以及能够编辑视频、处理HTML、读取大型代码库和分类见解的专用模型的出现表明这些用例将来可能会完全自动化。

展望未来，各机构需要扩大对攻击面的认识。与品牌或员工相关的任何文本、图像、音频或视频数据都可以并且将会被人工智能用于恶意用途。企业和政治领导人的声音和肖像可用于有针对性的社会工程攻击，从而造成毁灭性的金融和政治影响。人工智能生成的文本可以经过训练，在克隆网站上冒充合法新闻和政府消息来源，以大规模传播虚假信息。安全研究人员发布的检测规则可被用于迭代恶意软件菌株并避免检测。可以挖掘设施的公共图像和视频来获取有关地理位置和设备漏洞的信息，这些信息可用于为物理和网络攻击提供信息。