AI+人类：破解认知战“虚假信息”的终极防线

近年来，人工智能（AI）在军事、政治和社交媒体领域的应用迅速扩展，尤其在认知战争（Cognitive Warfare）中的作用日益复杂。AI既可用于生成和传播虚假信息，也能用于识别和抵御这类攻击。然而，完全依赖AI的系统存在明显弱点：容易被“诱饵攻击”（Decoy Attacks）操纵，也可能因训练数据偏差形成地域或内容盲区。

为此，研究人员提出必须通过“有意义的人类控制”（Meaningful Human Control, MHC）和人机协作（Human-AI Teaming, HAT），将人类判断力与AI的高效数据处理能力相结合，构建更具韧性的防御系统。

一、人工智能在信息传播中的优势与风险

AI在数据处理与决策支持方面展现出卓越的能力，其优势已广泛应用于医疗诊断、金融分析、智能驾驶等多个领域。在信息传播领域，AI同样展现出巨大潜力。

近年来，越来越多用户通过社交媒体获取新闻，这为AI分析和定制化内容推荐提供了丰富的数据来源。推荐算法能够根据用户偏好推送个性化内容，不仅提升了用户体验，也增强了平台的经济效益。

然而，这种能力也带来了潜在风险。自主运行的AI系统可能放大虚假信息，甚至引发用户歧视或隐私侵犯等问题。数字监控与用户自由权利之间的平衡，已成为AI应用中不可回避的伦理与安全挑战。这些挑战也催生了对“有意义的人类控制”（MHC）的迫切需求，在信息战与认知战背景下，这一需求显得尤为突出。

二、虚假信息：认知战中的新型武器

在数字时代，社交媒体和即时通信平台成为其主要战场。虚假信息通常并非随意散布，而是有组织、有策略的传播行动，往往由国家行为体或非国家团体（如极端组织）推动，内容涉及选举干预、危机煽动、外交误导等，具有高度针对性和破坏性。AI的出现一方面加速了虚假信息的生成与传播（如Deepfake），另一方面也为防御方提供了新工具，如自动识别虚假内容、追踪传播路径和预警潜在威胁。

近年来，信息战已成为常规战争的重要补充手段，而虚假信息的组织效率也因社交媒体而显著提升。

社交媒体成为虚假信息的主要扩散渠道，原因有三：

1. 政治相关信息广泛传播，覆盖大量受众；

2. 定向广告和推荐算法可精准锁定特定群体；

3. 新闻与图像的制作成本低，可实现几乎同步的传播。

三、AI驱动的虚假信息监测与预警系统

面对虚假信息挑战，可利用人工智能（AI）技术构建虚假信息监测与预警系统（Disinformation Monitoring and Alert System,简称 DMAS）。该系统通过模式识别与数据分析技术，实时识别潜在的虚假信息传播活动，为政治和军事应对争取宝贵的响应时间。为实现这一目标，DMAS需具备自主分析多源数据的能力，包括来自广播、社交媒体、通信网络及消息平台的大规模信息。若完全依赖人工处理，将难以在虚假信息防范所需的关键时间窗口内完成检测与响应任务。

DMAS工作流程如下：

• 识别与检测：重点关注特定内容，如国际冲突、选举事件或其他政治问题，排除内容组织程度。利用假新闻检测器与网页爬虫生成待分析内容池。
• 背景信息收集：由AI系统获取发布者地理位置、用户名、时间戳等元数据；
• 模式识别与预警：AI通过预定义模式（如特定话题、账户关系）对内容进行匹配。匹配成功则触发预警并启动应对措施；未匹配则不预警，继续监测。

DMAS工作流程图

四、诱饵攻击及自主DMAS的局限性

虚假信息监测与预警系统（DMAS）能够为相关机构提供应对优势，包括通过预先辟谣和事实核查等方式应对虚假信息，以及采取法律与监管层面的措施。然而，该系统所依赖的AI数据分析存在两大固有弱点：

• 诱饵攻击：虚假信息发起者可通过制造符合DMAS模式识别条件的虚假内容，触发系统预警，但并不真正试图操纵公众舆论。此类行为会干扰系统正常运行，削弱其预防效果。
• 训练数据偏差：DMAS高度依赖训练数据与预设参数，可能导致某些地区或语言被过度代表，其他地区则被忽略，形成监测盲区。

五、MHC：AI安全的核心

在AI系统的应用中，“有意义的人为控制”（MHC）已成为保障AI安全的核心要素。AI的优势在于高效处理人类难以承担的任务，然而完全依赖AI存在一定风险，在认知战等时效性极强的场景中尤其如此。通过引入MHC机制，既能够有效控制系统风险，又不会显著影响AI的运行效率。

MHC强调人类操作员应在系统中保持实质性控制权。以虚假信息监测与预警系统（DMAS）为例，操作员在以下关键环节发挥不可替代的作用：

• 模式识别调控：操作员可动态调整系统所关注的区域范围，避免因算法偏差导致地理或内容维度出现监测盲区；
• 决策审核权：操作员负责辨别真实威胁与误报警报，并作出最终判断；
• 预警触发机制：在人工确认决策后，系统可自动执行预警发布，确保响应速度与准确性兼顾。

在DMAS中，MHC以“人类在回路中”（HITL）的方式运行，通过与AI系统之间建立权威共享与双向通信机制，实现人机协作（HAT）下的动态任务分配与信息交互。该模式不仅提升了系统整体的可靠性，也显著增强了其在复杂对抗环境中的韧性。

六、操作人员的专业要求

为了确保MHC与HAT的有效运作，操作员需具备以下专业能力：

• 专业知识：应掌握国际关系、时事政治及潜在对手动向，了解虚假信息的常见主题与传播模式；
• 信息更新能力：能够每日跟进最新动态，将实时信息纳入评估体系，保持对局势的高度敏感；
• 系统理解能力：应熟悉AI系统的能力边界与潜在缺陷，警惕自动化偏见和“橡皮图章”式审批行为。

七、总结

在认知战领域中，“有意义的人为控制”（MHC）与人机协作发挥着关键作用，尤其当其融入虚假信息监测与预警系统（DMAS）时，能够显著增强系统对信息操作的应对能力。基于人工智能的防御系统虽然在可靠性方面存在局限，但通过引入MHC机制与有效的人机协作，可以弥补这些不足，从而提升整体安全水平和运行稳定性。

总体而言，MHC与人机协作在AI防御体系中至关重要。同时需推动跨学科研究，将信息技术、政治学与心理学相结合，以更全面地提升系统的韧性与安全。