论文名称：
Diagnosing and Remedying Knowledge Deficiencies in LLMs via Label-free Curricular Meaningful Learning
作者：熊凯，丁效，曹艺馨，杜理，英嘉豪，赵阳，秦兵，刘挺
链接：https://openreview.net/pdf?id=qVadFFSfrI
代码：https://github.com/Waste-Wood/LaMer
转载须标注出处：哈工大SCIR
1.背景及动机
近年来，大型语言模型（LLMs）在多个领域取得了显著进展[1,2]。通过语言建模的方式从海量无标注文本中隐式挖掘并学习信息，使得 LLMs 展现出卓越的泛化能力。这让它们能够在诸多应用场景中回答各类用户问题，例如推理[3,4]和推荐系统[5,6]等。
然而，尽管LLMs潜力巨大，它们仍然存在一定的局限性。由于其统计建模的本质，LLMs 有时会在推理过程中出现错误[7,8]，从而影响用户对其的信任以及相关应用的可靠性。这里的一个关键挑战在于，LLMs的知识挖掘过程是隐式的，使得人们难以辨别 LLMs 在哪些方面表现出色、在哪些方面存在不足。这种缺乏透明性的情况，阻碍了对 LLMs 进行有针对性的改进。此外，虽然LLMs在与用户交互的过程中可以获取到海量且全面的查询，但是依赖用户提供充分且有效的反馈既困难又不现实，因为这需要用户付出额外的努力，而用户通常只是希望获得答案，并不一定完全理解问题本身。这种状况在基于海量无标注用户查询来持续改进 LLMs 的过程中，构成了一个重要障碍。
图1: （a）无监督语言建模，（b）有监督微调，（c）间接监督
为了提升 LLMs 的能力，现有研究主要遵循两种方法：无监督语言建模[9,10]和监督微调（SFT）[11,12]，分别如图 1(a) 和 (b) 所示。无监督语言建模利用海量无标注数据，使 LLMs 能够隐式地学习知识；相比之下，SFT 则是在面向特定任务的标注数据集上对 LLMs 进行训练。尽管这两种方法各有优势，但仍然存在一定的局限性。首先，它们往往效率较低，因为需要无差别地纳入大量数据，而这些数据未必能够有效覆盖并纠正 LLMs 的推理错误。其次，这两种方法依然缺乏对 LLMs 能力的全面理解，因而难以进行有针对性的改进，这进一步导致在应对特定问题和长尾问题时效果不佳。此外，对用户查询进行标注确实有助于暴露 LLM 的部分错误，但标注成本高昂，而且仅凭有限的标注样本，难以对具备强泛化能力的 LLMs 进行充分评估。这些局限性表明，有必要探索更加高效且低成本的方法来诊断并改进 LLMs。
为应对上述挑战，并考虑到 LLM 中的推理错误往往源于知识缺陷（例如知识缺失以及对已有知识的低效利用），我们聚焦于在无需任何高成本标注的情况下诊断 LLM 的知识缺陷并加以修复。通过诊断这些知识缺陷，我们可以制定有针对性的解决方案，从而实现高效、精准的模型改进。此外，该方法使 LLM 能够在缺乏用户反馈的情况下，随着用户交互的增加而持续演进。这种方式确保 LLM 始终保持更新和适应性，能够更好地应对特定问题和长尾用户需求，同时避免高昂的数据标注成本，促进更加高效的在线迭代开发流程。在本文中，如图 1(c) 所示，我们设计了一种间接监督方法，称为无标签课程有意学习（label-free curricular meaningful learning, LaMer）。该方法首先在无标签环境下诊断特定 LLM 的知识缺陷，随后通过课程式有意义学习高效且有效地弥补这些缺陷。具体而言，LaMer 首先为用户查询抽取相关知识。随后，受信息论启发——在信息论中，相对熵可以用来衡量从一个分布转变为另一个分布所需的额外信息量——我们利用相对熵与抽取的知识相结合，在不依赖标签的情况下诊断 LLM 的知识缺陷。最后，我们采用课程式有意义学习策略：首先基于有意义学习思想，根据缺陷的严重程度在不同场景下自适应合成增强数据；随后通过课程式缺陷修复策略，从轻微到严重，逐步弥补这些知识缺陷。
图2: LaMer 在无标签环境下，自动诊断并修复LLM 知识缺陷的工作流程。
2.方法：无标签的课程有意义学习
我们设计了一种无标签的课程有意义学习框架，称为 LaMer，该框架利用用户查询，在无需标注数据的情况下，高效地诊断并修复 LLM 中的知识缺陷。如图 2 所示，LaMer 包含三个步骤：（1）知识抽取（Knowledge Extraction）：针对每个用户查询，从外部知识库中获取相关知识，以辅助后续的知识缺陷诊断；（2）无标签知识缺陷诊断（Label-free Knowledge Deficiency Diagnosis）：利用相对熵在不依赖任何标签的情况下，自动诊断并量化 LLM 中的知识缺陷；（3）课程有意义学习（Curricular Meaningful Learning）：借鉴人类进行有意义学习的思想，首先针对每一种知识缺陷，在不同场景下自适应地合成训练样例，随后采用课程式修复策略，按照从轻微到严重的顺序，逐步有效地弥补这些知识缺陷。
2.1 知识抽取
为获取后续知识缺陷诊断所需的知识，我们采用外部知识库 GenericsKB[13]，为给定查询集合 (D) 中的每个查询 (d) 检索相关知识。GenericsKB 是一个大规模常识知识资源，包含超过 340 万条自然产生的通用事实（例如 “Trees remove carbon dioxide from the atmosphere” 和 “Dog barks”）。具体而言，为保证 GenericsKB 的知识质量，我们首先过滤掉置信度低于 0.7 的事实，并去除重复项。随后，采用 FlagEmbedding[14]将 GenericsKB 中的事实以及查询集合 (D) 中的每个查询 (d) 表示为稠密向量表示（dense embedding）。最后，对于每个查询 (d∈D)，我们通过余弦相似度从 GenericsKB 中匹配出 (m) 条相关知识 (K=k1,⋯,km)。匹配得到的知识集合 (K) 与对应的查询样例 (d)，将在步骤 2 中通过相对熵用于诊断特定 LLM (ℒ) 的知识缺陷。
2.2 无标签的知识缺陷诊断
具体而言，对于给定查询d∈D，其输入为I。我们首先将d输入到大语言模型ℒ，采样得到n个回复O=o1,o2,...,on，并计算在条件下每个响应的负对数似然（NLL）。据此，可得模型ℒ在回复集合O上的先验分布：
其中pi表示在输入I下模型对oi输出的 NLL（即-logℒ(oi|I)，常以负对数似然形式建模置信度）；P∈Rn为归一化后的先验概率分布。
其次，对查询d所抽取的每条知识k∈K，将其作为额外上下文注入模型ℒ，得到基于知识的后验响应分布：
其中qi为引入知识k后模型对oi的 NLL，Q∈Rn为对应后验分布。
接着，计算先验P与后验Q的相对熵（KL 散度）以量化知识k对模型推理的扰动程度：
最终，筛选所有满足RE>τ的(d,k)对，构成知识缺陷单元；RE值越大，缺陷越显著。其中：
Helpful：Q提升正确答案概率 → 暴露模型知识缺失或应用能力不足；
Misleading：Q提升错误答案概率 → 暴露模型推理脆弱性或知识误用倾向。
2.3 课程有意学习
人类通过有意学习（meaningful learning）来在多样化情境中应用新知识，从而实现对知识的深入理解与整合。同时，人类还利用课程学习（curriculum learning），通过由易到难的学习顺序，更加高效地掌握新知识。受此启发，我们将二者结合，设计了课程式有意义学习（curricular meaningful learning），以有效修复ℒ中已诊断出的知识缺陷。
表1：RE分组与其对应的合成样例数量
首先，我们采用有意学习策略，根据知识缺陷的严重程度，在多样化场景中合成不同数量的训练样例。该策略受到人类有意义学习方式的启发，同时基于这样的观察：当 LLM 对某类知识的先验理解较弱时，往往需要更多的 token 或样例才能有效掌握该知识。该策略能够在降低成本的同时，提高缺陷修复的效率。具体而言，对于在ℒ中诊断出的知识缺陷，我们根据其严重程度（RE）将其划分为 4 个组。对于每个组，我们启发式地分配一个数值，用以表示需要为该组中每个缺陷合成的多样化样例数量。具体的分组方式及对应分配数量如表 1 所示。随后，我们使用 ChatGPT 来为每个组中的知识缺陷合成指定数量的训练样例。在数据合成过程中，知识缺陷（即知识及其对应查询）被用作指导信号。每个合成样例包含一个输入X和一个输出Y。
其次，我们设计了一种课程式修复策略，按照从轻微到严重的顺序，逐步修复 LLM 中的知识缺陷。具体而言，我们根据知识缺陷的严重程度，对已生成的训练样例按升序进行排序，然后依次将这些样例输入，用于训练 。对于每个样例 ，我们以自回归方式训练 ，以最大化如下条件概率：
其中，θ 表示 ℒ 的模型参数。通过这种方式，可以得到一个知识缺陷得到修复的更新后的 ℒ。
3.实验
3.1 研究的大语言模型
我们选取了 4 个开源 LLM 进行实验，以验证所提出 LaMer 方法的通用性：
1.Mistral-7B-Instruct-v0.2（Mistral）：一个高效的对话型 LLM。
2.LLaMA-3-8B-Instruct（LLaMA-3）：经过大规模预训练的稠密型 LLM。
3.Qwen2-7B-Instruct（Qwen2）：一个强大的多语言 LLM。
4.Gemma-1.1-2B-IT（Gemma-1.1）：一个性能出色的小规模对话型 LLM。
3.2 基线方法
我们选取了多种基线方法进行全面对比：
1.Base：直接使用基座 LLMs 在各个测试基准上回答问题。
2.AugGPT：采用 ChatGPT 生成问答对，并通过 SFT 对 LLM 进行增强。AugGPT 在生成样例时不包含思维链。
3.Naive：一种 SFT 方法，从知识库中随机采样若干条知识来合成训练样例，而不考虑特定 LLM 是否在这些知识上存在缺陷。
4.Single：流程与 LaMer 类似，但每个知识缺陷仅合成 1 条样例。因此，Single 的训练数据规模约为 LaMer 或其他方法的 40%。
3.3 评测基准
我们选取了 7 个OOD基准测试，涵盖从推理到语言理解的多种能力，用于评估 LaMer 及各基线方法的性能：
1.Comm.：由 6 个常识推理数据集组成的集合。
2.AGIEval：包含多种标准化考试题目，从研究生入学考试（如 GRE、GMAT）到国家公****。
3.ARC：AI2 推理挑战赛数据集，来源于 3 至 9 年级的科学考试题目，包含简单子集（ARC-e）和挑战子集（ARC-c）。
4.MMLU：通过 57 个任务评估 LLM 的语言理解、知识掌握和推理能力。
5.BBH：Big-Bench 的一个子集，包含 23 个极具挑战性的任务。
6.CRASS：用于评估语言模型的反事实推理能力。
7.GSM-Plus：一个综合性的数学基准，用于评估 LLM 的鲁棒性，在评测过程中，我们仅保留具有有效标准答案的样例进行评估。
4.实验结果
表2: 整体实验结果
整体结果如表 2 所示，可以得到如下观察结论：
1.LaMer 在不同 LLM 上平均优于所有基线方法。这主要归功于 LaMer 在诊断和修复知识缺陷方面的有效性。这也表明 LaMer 具有良好的通用性，能够作为一种即插即用的方法来提升 LLM 的性能。
2.数据增强方法在大多数基准测试上优于基础 LLM。然而，Naive 和 Single 在 LLaMA-3-8B-Instruct 和 Gemma-1.1-2B-IT 上出现了性能下降，这是因为这两个模型在参数中已经蕴含了较为密集的知识。Naive 和 Single 虽然补充了一部分知识，但同时也导致模型遗忘了更多有用的已有知识。
3.有趣的是，Single 仅使用 LaMer 40% 的训练数据（每个知识缺陷只生成 1 个样例），却能在 Mistral-7B-Instruct-v0.2 和 LLaMA-3-8B-Instruct 上取得与 Naive 相当的效果。这表明 Naive 方法可能生成了大量基础 LLM 已经掌握的冗余数据；而基于知识缺陷检测的定向改进更加高效、成本更低。
4.LaMer 在所有 LLM 上均优于 Single。这是因为更严重的知识缺陷需要更多且更具多样性的样例才能有效修复。LaMer 会为严重程度更高的知识缺陷合成更多样例，而 Single 对每个缺陷仅生成 1 个样例，导致许多知识缺陷未能得到充分修复。
5.AugGPT 在 GSM-Plus 上表现最差。这是因为数学问题通常需要多步推理，而 AugGPT 直接提供答案，难以帮助模型学习精确的计算过程。然而，在某些基准上（例如 Qwen2 上的 ARC），AugGPT 能取得最佳表现，这是因为这些任务可能只需一步推理即可完成。
6.参数量更少的 Qwen2-7B-Instruct 在多种方法下均超过了 LLaMA-3-8B-Instruct。我们推测，这主要归功于 Qwen2 在后训练阶段投入了大量优化工作。
5.样例分析
图3: 样例分析
如图 3 所示，我们通过一个案例展示 LaMer 如何在 Mistral-7B-Instruct-v0.2 中诊断并修复知识缺陷：
针对一个关于 “silver（银）” 的查询，我们从知识库中检索到相关知识：“silver is a mildly toxic element（银是一种轻度有毒的元素）”。
在未提供该知识时，LLM 给出了错误回答，并在候选选项上形成了分布 (P=[0.63, 0.37])。当向 LLM 提供该知识后，模型给出了新的回答，对应分布变为 (Q=[0.15, 0.85])。两者之间的相对熵为 0.60，说明该知识为模型带来了大量信息。因此，该知识与查询的组合被判定为模型的一个知识缺陷。
该知识缺陷属于normal 组。因此，我们使用 ChatGPT 为该缺陷合成两个训练样例。这两个样例分别体现了该知识在不同情境下的应用。随后，这些合成样例被用于训练模型。
在完成课程式有意义学习之后，Mistral 能够给出正确答案，该知识缺陷得到修复。
6.总结
本文提出了一种基于相对熵的无标签课程式有意义学习框架（LaMer），能够从海量无标注用户查询中自动发现 LLM 的知识缺陷。随后，我们设计了课程式有意义学习机制，包括有意义学习策略和课程式缺陷修复策略，以高效且有效地弥补这些已发现的知识缺陷。实验结果表明，所提出的 LaMer 能够提升对知识缺陷的覆盖范围，并整体优于各类基线方法，使得在无需标注数据的情况下实现对 LLM 的增强成为可能。基于相对熵的知识缺陷诊断方法，为现有 LLM 提供了一种稳健、高效且无标签依赖**的缺陷诊断工具，从而进一步释放其潜力。
参考文献
[1] Sein Kim, Hongseok Kang, Seungyoon Choi, Donghyun Kim, Minchul Yang, and Chanyoung Park. Large language models meet collaborative filtering: An efficient all-round llm-based recommender system. arXiv preprint arXiv:2404.11343, 2024.
[2] Chen Li, Weiqi Wang, Jingcheng Hu, Yixuan Wei, Nanning Zheng, Han Hu, Zheng Zhang, and Houwen Peng. Common 7b language models already possess strong math capabilities. arXiv preprint arXiv:2403.04706, 2024a.
[3] Zhengyang Tang, Xingxing Zhang, Benyou Wang, and Furu Wei. Mathscale: Scaling instruction tuning for mathematical reasoning. In Forty-first International Conference on Machine Learning, 2024.
[4] Kai Xiong, Xiao Ding, Ting Liu, Bing Qin, Dongliang Xu, Qing Yang, Hongtao Liu, and Yixin Cao. Meaningful learning: Enhancing abstract reasoning in large language models via generic fact guidance. Advances in Neural Information Processing Systems, 37:120501–120525, 2024.
[5] Yuxuan Lei, Jianxun Lian, Jing Yao, Xu Huang, Defu Lian, and Xing Xie. Recexplainer: Aligning large language models for recommendation model interpretability. arXiv:2311.10947, 2023.
[6] Junda Wu, Cheng-Chun Chang, Tong Yu, Zhankui He, Jianing Wang, Yupeng Hou, and Julian McAuley. Coral: Collaborative retrieval-augmented large language models improve long-tail recommendation. arXiv preprint arXiv:2403.06447, 2024.
[7] Jaehun Jung, Lianhui Qin, Sean Welleck, Faeze Brahman, Chandra Bhagavatula, Ronan Le Bras, and Yejin Choi. Maieutic prompting: Logically consistent reasoning with recursive explanations. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pp. 1266–1279, 2022.
[8] Peiyi Wang, Lei Li, Liang Chen, Zefan Cai, Dawei Zhu, Binghuai Lin, Yunbo Cao, Qi Liu, Tianyu Liu, and Zhifang Sui. Large language models are not fair evaluators. arXiv preprint arXiv:2305.17926, 2023.
[9] Kazuki Fujii, Taishi Nakamura, Mengsay Loem, Hiroki Iida, Masanari Ohi, Kakeru Hattori, Hirai Shota, Sakae Mizuki, Rio Yokota, and Naoaki Okazaki. Continual pre-training for cross-lingual llm adaptation: Enhancing japanese language capabilities. arXiv preprint arXiv:2404.17790, 2024.
[10] Yiduo Guo, Jie Fu, Huishuai Zhang, Dongyan Zhao, and Yikang Shen. Efficient continual pre-training by mitigating the stability gap. arXiv preprint arXiv:2406.14833, 2024b.
[11] Arindam Mitra, Luciano Del Corro, Shweti Mahajan, Andres Codas, Clarisse Simoes, Sahaj Agarwal, Xuxi Chen, Anastasia Razdaibiedina, Erik Jones, Kriti Aggarwal, et al. Orca 2: Teaching small language models how to reason. arXiv preprint arXiv:2311.11045, 2023.
[12] Can Xu, Qingfeng Sun, Kai Zheng, Xiubo Geng, Pu Zhao, Jiazhan Feng, Chongyang Tao, Qingwei Lin, and Daxin Jiang. Wizardlm: Empowering large pre-trained language models to follow complex instructions. In The Twelfth International Conference on Learning Representations, 2024.
[13] Sumithra Bhakthavatsalam, Chloe Anastasiades, and Peter Clark. Genericskb: A knowledge base of generic statements. arXiv preprint arXiv:2005.00660, 2020.
[14] Peitian Zhang, Shitao Xiao, Zheng Liu, Zhicheng Dou, and Jian-Yun Nie. Retrieve anything to augment large language models, 2023a.