近年来，利用脑与认知科学的见解来理解和推进深度学习已成为深度学习社区的研究焦点。然而，脑与认知科学是一门多元化的学科，现有的研究往往集中在各自领域内的认知理论上。这些理论通常基于某些假设，使不同方法之间的比较变得复杂。
本综述调查了400余篇近年来受脑和认知启发的深度学习研究，创新地建立一个统一的框架，将将脑认知相关的深度学习放在统一的框架思想下比较，从而帮助读者深入了解深度学习和脑与认知科学之间的共生关系。该综述发表在CCF-A期刊IEEE Transactions on Knowledge and Data Engineering上，文章标题为Brain and Cognitive Science Inspired Deep Learning: A Comprehensive Survey（文章链接：https://ieeexplore.ieee.org/document/10834593）。
作者包括张梓寒博士生，丁效教授（通讯作者），梁夏教授，周俣生硕士生，秦兵教授，刘挺教授。
文章简介
与以往集中讨论特定领域的评述不同，如脑机接口、神经形态硬件、神经形态计算和人工智能对齐，本文旨在拓宽视野，整合这些领域，形成一个综合框架，并在不同章节中进行分析和呈现，每一章节都聚焦于框架的不同方面。引言之后，第二章简要概述了脑与认知科学（Brain and Cognitive Science, BCS）的各个领域，并探讨了它们与深度学习的相互关系。第三章讨论了深度学习（Deep Learning, DL）模型如何通过神经形态方法提升其能力，第四章则探讨了BCS的现代发展所带来的新任务，如大脑和认知信号的解码。第五章介绍了计算认知科学，利用深度学习作为工具来发现和验证认知科学中的理论。最后一章作为本文的结论，展望了这些迅速发展的领域的未来研究方向。
总之，本研究的主要贡献可以概括为三点：
1、论文系统地审视了与深度学习研究相关的BCS中的各种理论和学科。
2、论文阐明了BCS如何为深度学习研究引入新的方法论和任务。
3、论文提出了一个面向未来的研究视角，探讨BCS启发的深度学习领域的未来发展方向。
神经形态深度学习
神经形态深度学习是一个将神经形态计算与深度学习相结合的新兴领域。它旨在通过模拟大脑中神经网络的结构和功能原理，开发更高效、低功耗的深度学习模型和硬件。在许多DL任务中，SOTA模型的性能仍然远远落后于人类的能力。这种差异归因于大脑复杂而精确的结构。据估计，一个成年人的大脑包含大约860±80亿个神经元和约100万亿个突触。如果将人脑的突触比作DL模型的参数，大脑的“参数”将达到10^6B左右，远远超过任何现有的DL模型。此外，与人脑相比，DL模型需要更多的能量，在学习方面面临更大的挑战，这种差异是由它们不同的学习机制驱动的。深度学习模型需要大量的样本数据和复杂的计算，而人类善于从稀疏的例子中进行归纳。因此，要实现能够完全复制人类智能并执行任何人类认知任务的通用人工智能（AGI），必须理解和模仿人类大脑。
认知科学对大脑的研究可分为三个尺度，如图所示。因此，对神经形态DL（脑启发DL）的研究也集中在这三个尺度上：微观神经形态DL、介观神经形态DL和宏观神经形态DL。
受BCS启发的新任务
除了前一章讨论的BCS催化的DL模型的探索外，BCS还在DL领域内产生了许多新任务。大脑成像和传感器技术的进步极大地扩展了我们捕获认知生理信号的手段，如大脑活动信号、眼球运动信号和肌电图信号。因此，从BCS中汲取灵感，近年来出现了大量新颖的深度学习任务。
如图介绍了自然主义脑机接口和认知生理信号增强的深度学习。深度学习过程可以被视为从大量数据特征中识别关键特征之间的关系，以预测标签。此外，数据标注可以看作是人类处理高维特征数据的过程。除了人类注释者提供的标签结果外，任务执行过程中产生的认知生理信号也可以帮助训练模型，这种方法被称为认知生理信号增强深度学习。而直接解码这类脑活动信号的研究可以被称作自然主义脑机接口。
如图介绍了认知神经表征学习，将大脑活动模式编码为向量，并将其与模型中的向量进行比较。
人脑和模型的差异及其未来潜在研究方向
总结上面两章，BCS可能为DL的未来发展提供的见解可分为两个主要领域：（a）受BCS启发的新模型架构和机制，即神经形态深度学习，以及（b）由BCS启发的任务驱动的DL模型的新应用场景。（a）和（b）部分相互促进对方的发展。对大脑的研究激发了更先进的DL模型，而受BCS启发的任务扩展了DL模型的应用场景，最终改善了人机交互。这反过来又促进了对人脑的进一步研究，创造了一个正反馈回路，类似于中国哲学中的太极原理。
计算认知科学
除了BCS为DL引入的新模型和任务外，相反，利用DL的计算能力进行认知计算是另一个重要的研究方向。从根本上说，深度学习是一种先进的统计和数据挖掘方法，能够识别复杂信号中的细微变化，并在庞大的数据集中辨别统计模式。计算认知科学是一门专注于使用计算模型和算法理解和模拟人类认知过程的学科。其研究主要不强调深度学习模型或任务设计的创新。相反，它利用DL作为发现和验证认知科学理论的工具。
结论
本文以深度学习社区为基础，探讨了BCS启发的深度学习，这是一个关键时刻，在推进类人模型的同时，丰富了我们对人类认知的理解。这一主题的重要性在于它有可能彻底改变我们与机器的互动，加深我们对认知过程的了解。
我们认为，DL和BCS不仅仅是平行领域，而是一种共生关系，一种影响另一种的进化。我们进一步声称，这种关系是创建更精细、认知一致的模型的关键，对我们理解人类认知具有重大意义。我们通过对400多篇学术论文的严格分析得出了这些论点和主张，为DL和BCS融合的跨学科研究提供了全景。
展望未来，我们预计在DL和BCS的交叉领域会有更多的研究机会。我们相信，这种跨学科的合作努力将有助于推动DL和BCS的进步。
文章发表
目前文章已经发表在期刊《IEEE Transactions on Knowledge and Data Engineering》上，简称TKDE。TKDE是IEEE旗下专注知识发现和数据挖掘的期刊，是计算机领域数据挖掘方向的顶级期刊，在最新版中国计算机学会推荐国际学术会议和期刊目录中评级为CCF-A，最新影响因子为8.9分。