1.简介
惊堂木是由哈工大社会计算与交互机器人研究中心DI (智能决策) 组开发的虚假信息检测系统，旨在应对自媒体和AIGC 时代下的虚假信息检测挑战。
随着自媒体的广泛流行以及AI技术的发展，现在互联网无代价的谣言快速传播以及AI生成内容真假难辨，造成了识别和控制虚假信息传播的困难局面。
为了应对这一挑战，“惊堂木”利用一个包含10多万个虚假信息样本的大规模数据案例库来训练专用的AI模型，从而更准确地识别出虚假信息。
系统还引入了“慢思考”策略，在判断信息真假时，它不会草率地下结论，而是逐步分析、查证相关信息，同时配合各种工具进行辅助判断，可以细粒度地针对待检测信息的每个语义片段进行事实核查。
该系统不仅能分析文字，还能识别图片、音频等多种信息类型，从而更全面地判断一个信息是否可信。
此外，它还能进行事实核查、谣言识别、评估信息来源是否可靠，甚至支持多轮对话中的虚假信息识别。最终目标是防止虚假信息带来的社会风险，保护国家的稳定和安全。
2. 功能与意义
随着科技进步，信息的传播越来越快。而AI生成的内容虽然看起来高质量，但也让人更难判断它是否真实。虚假信息识别变得更加重要，它不仅包括对事实的核查，还包括对无法直接验证内容（比如谣言）的识别。
根据世界经济论坛的报告，未来几年虚假信息会成为全球范围内的重要风险之一，所以开发虚假信息识别技术具有很大的社会意义。
随着 AIGC 发展，生成复杂且具欺骗性的虚假信息变得容易，现有虚假信息检测系统难以应对，其主要挑战包括：
·虚假信息越来越“聪明”，AI生成的内容常常真假混合，让人难以分辨；
·虚假信息经常以声图文等多种模态形式混合呈现，需要模态间信息互相校验；
·虚假信息传播速度快，而人工查证耗时耗力，跟不上信息生成及传播速度。
针对上述问题，并基于组内的技术积累，我们研发了一个基于大模型的虚假信息检测系统，将其命名为惊堂木。其设计充分考虑了复杂应用场景中的实际需求，并具有以下显著特点：
1.实时联网获取信息：系统能调用20多种工具，如 Bing Search搜索，快速查找最新相关信息。
2.处理复杂事件：通过慢思考方式，把复杂的事件拆分成一个个简单的问题，再逐一分析、验证真假。
3.识别多模态伪造信息：系统内置了多模态伪造检测工具，能分析多模态信息中的细节、物理现象等，判断是否是深度伪造。
4.全方位识别假信息：它能处理各种类型的虚假内容，不论是事实错误、难以确认的谣言，还是伪造的图片，都能检测出来。
3. 系统设计基本原理
“惊堂木”系统遵循“数据驱动、模型迭代、系统协同”的设计思想，整体架构分为三大核心模块：数据构建、模型训练和系统推理。系统从多个权威渠道广泛采集原始数据，涵盖：事实核查平台（比如FactCheck、PolitiFact和Snopes）；社交平台（如Twitter、Reddit）和一些AI生成的虚假信息样本（用于增强对新型伪造内容的识别能力），共收集了超过16万条原始数据；该系统采用有监督微调（SFT）+基于偏好的强化学习（RL）二阶段模型训练范式；通过慢思考策略与外部工具调用相结合的方式，对输入内容进行深入分析和验证，以准确判断信息的真实性。
体验入口
系统主要以小程序形式构建，欢迎大家关注，试用和提出宝贵意见。
使用方法
扫码后，进入小程序，点击立即体验，进行对话主页面并进行登录，输入检测内容即可。
示例演示
未来工作
·提升多模态检测能力：未来将增强系统自身多模态融合与理解能力，减少对外部工具的依赖。通过优化模型架构，提高多模态虚假信息检测的稳定性和准确性。
·增加识别 AI 生成内容的功能：后续研究将开发识别 AI 生成内容的技术。通过分析 AI 生成内容的特征，让系统具备这一关键能力。
参与人员
曾屹荣、代居益、游珅
指导老师：刘挺、秦兵、丁效