文 | 明玉瑞
编 | 贾   伟
深度学习（Deep Learning）以其在许多应用领域出色的表现，毫无疑问是当下最为热门的机器学习技术之一。其起于神经网络，虽然现阶段的发展和积累使各个领域对其的热爱程度今非昔比，但一些最基本的概念与结构，在多年之前业已成型。搭上近年来成倍增长的算力与大数据的快车，其近些年来大放异彩。
但深度学习一个弱项是解释性较差，不能有效地发现网络本身的问题，进而迭代改进。这种偏黑盒性质的做法，使得大家不得不尝试各种网络组合，以便找出性能更好的结构，有时亦被戏称为炼金术。另外一个现象是，深度学习在理论发展与架构创新上，在近一两年有放缓之势，单纯从深度学习本身来推动深度学习的发展，似乎逐渐进入一个瓶颈期。
深度学习在一定程度上，和神经科学的发展是有密切联系的，因此我们认为可以尝试从神经科学的角度对深度学习的解释性，结构的创新性等方面，做一些工作。当然近年来也有学者表示，不必过分强调从神经科学或脑的角度来诠释或改进深度学习方面的工作，其正如飞机和鸟的关系。但是我们认为，结合神经科学增进深度学习，有其独特的意义与视角。审视深度学习与神经科学之间的关系，从而发掘潜在的相互启发（特别是后者对前者的），对两个学科的发展都是有益的。作者这里结合自己的研究经验与研究感悟，分享一下对这个问题的看法。

1

神经科学对神经网络的启发意义
神经网络的缘起，是受到人脑或哺乳动物大脑的工作方式启发的，而对脑的研究正是神经科学的中心议题之一。
虽然在上世纪40年代，现代数学的框架体系已经成型，但图像描述、语言理解等实际问题并不能很好地转化成数学问题来处理。而这些非线性问题对于哺乳动物大脑来说，似乎轻而易举，这促使学者探究是否可以参考人脑来解决这类问题。当时神经科学的发展已经可以在细胞层面讨论神经元的活动，美国学者McCulloch和Pitts基于此对神经元进行了建模，并且展示了其组成的网络可以完成一些运算。

图1神经元及其结构；图片来源于网络，仅作学术交流使用。  图1 展示了一个神经元及其基本结构，图2是对神经元的数学建模，即输入信号的加权求和，再加上门限值后的激活输出。 

图 2 神经元的数学模型；图片来源于网络，仅作学术交流使用。 图2 中偏置即b的存在，是由于当时已经观察到了神经元的输入信号强度必须高于一个门限值，才能引起神经元的激发输出。现在我们知道b对应于胞体（soma）与轴突（axon）连接处的山丘（hillock），其调节神经元的激发水平。在神经元的连接上，由于当时算力的限制，神经网络只能以三层（输入层，一个隐含层，输出层），或后来多层感知机的形式出现，表示能力比较有限，受到关注不多。但这些受神经科学启发建立起来的概念，一直沿用至今。 在神经网络的训练方法上，起初有受生物行为（中学生物学过的Pavlov的狗）启发的Hebb Learning Rule，不过其不如后来发现的反向传播（Back-propagation）算法有效。值得强调的是，目前没有证据能够证明大脑是以反向传播的方式工作（大脑大概率也不会以反向传播的方式工作），但这并不能构成轻视脑科学启发作用的理由。 深度学习的进一步发展，亦有受神经科学启发的方面。例如，深度学习先驱Hinton教授在最近的工作中提出了胶囊（Capsule）网络模型。Hinton老先生在神经科学上的造诣大家也熟知，很难说这个过程没有受到神经科学的启发，尽管他是从计算机图形学角度（由参数重构物体）说明的胶囊网络的应用前景。在视觉系统中，特别是视觉皮层（Striate Cortex）的皮质模块（Cortical Module）中，一些视觉神经细胞确实是以柱状或类似胶囊形式聚合在一起工作的（如图3所示）。所以，忽略神经科学在神经网络发展中的启发作用是不合适的。

图3 皮质模块中的视觉柱；摘自《神经科学-探索脑》，仅做学术交流使用
 

 
2

神经科学与神经网络的相合性
现在的深度神经网络，基本是叠加多层卷积结构，从具体到抽象地学习或处理特征，得到特定问题的近优表示，从而使深度模型好于或远好于其它模型。这与视觉系统（Visual System）是有一定相似之处的。视觉系统的研究从上世纪60年代美国学者Hubel和Wiesel对猫的视觉皮层细胞激发的有向性选择的研究，到现在对各个视皮层的结构与功能的研究，如V1，V2和V4视皮层，视觉信息的分级处理在很大程度上有共识的。对比图4与图5我们可以看出视系统与深度神经网络的相合之处。更为细节的，卷积操作与局部视野域（Local Receptive Field）思想也是类似的。
 

图4 视觉系统功能连接图示；图片来源于网络，仅作学术交流使用
 

图5 深度神经网络不同层的特征的特性；图片来源于网络，仅作学术交流使用
另外一个例子，比如在现在的深度网络模型中，残差结构（Residual structure）是不可或缺的。但这个连接方式在神经科学中早已为脑科学家熟知，是海马区神经回路的典型方式。从下面图6与图7中我们可以看出，这两个结构还是很接近的。这也印证了结合神经科学研究深度学习的意义所在。也许可以通过回顾神经科学中的结论，来审视是否可以设计出神经网络中的新的结构。

图6 深度网络模型中的残差结构；图片来自网络，仅作学术交流使用
 

图7 海马区的神经回路；摘自《神经科学百科全书》，仅作学术交流使用

3

神经科学对神经网络的潜在促进
深度神经网络中的一些结构，比如循环结构（生物上习惯成为反馈回路），在中枢神经系统中无处不在。结合自己的研究，我们认为在机器学习领域，它的作用有可能是被低估的。
以我们研究多年的驾驶行为为例，生物结构中的反馈回路，基本分为两类：激发型（Excitatory）反馈（图8a）与抑制型（Inhibitory）反馈（图8b）。
 

图8 神经系统中的反馈回路；图片来源于网络，仅作交流使用 在驾驶中，突发事件引起的大脑反应，在初始阶段是激发型反馈，目的是在信号通路中加强信号以便大脑更加有效感知到。但随后便需要抑制型反馈开始起作用，以便抑制这个突发事件本身激发的信号的强度，以防过度惶恐（panic）而不能采取合适措施（reaction），否则就会导致通常所说的人慌失智。在机器学习中，对反馈结构或循环结构的应用，只是大面上强调样本数据本身存在时间依赖性（temporal dependency）或时序依赖性（sequential dependency），对循环结构所起作用的定性或定量的研究并不多。也许我们可以参照通过研究生物结构中反馈回路的作用，进一步加强这一方面的工作。 另外如业界一些公司，如DeepMind，也重视神经科学对深度学习的启发作用。我们实验室一个研究主题，是从宏观角度，利用EEG（脑电图）研究在人在陌生环境中自主导航（navigation）时大脑的表现及主体行为。导航在生物学上的机理，可概述为海马区（hippocampus）通过积分（integrate）内嗅皮层（entorhinal cortex）的网格细胞（grid cell）的激发信号，综合得到头向细胞（head direction cell）信号与位置细胞（positive cell）信号，进行进一步地认知处理，进而导航。在DeepMind工作之前，大家并不了解这些结论和深度学习，以及深度强化学习的联系。直到DeepMind做了相关方面的工作并且得到了很好的结果，大家才知道连接神经科学的意义。
下图9展示了DeepMind的工作。图中，f子图中的深蓝色曲线表示了集成生物导航机制之后，人工智能体的表现。与浅蓝色曲线及绿色曲线相比，性能还是有了很大地提升。这种充分说明了结合神经科学的结论研究深度（强化）学习的意义。
 

图9 智能体实验图示及基于不同神经网络的导航算法比较；图片来源于DeepMind论文，仅作学术交流使用
 4

神经网络对神经科学研究的反哺
脑机接口（Brain-Computer Interface）是利用脑电波信号（EEG）与外部设备直接交互的技术，虽然主要是从实践的角度，但其和神经科学的发展也密切相关。
比如，研究特定情况下，大脑疲劳程度的表现与对应的主体反应的关系，可以通过BCI进行，这项研究也可以视为一个神经科学的议题。因此，EEG也是从宏观方向研究脑科学的有效手段。但EEG数据本身复杂，加上对采集EEG的脑机接口实验所涉及的大脑认知过程还需要进一步的研究，所以希望用深度学习从EEG数据中分析出的结论，能反过来对相关BCI实验及应用，甚至于背后的神经科学，有所帮助。我们的一个工作，便是如何结合采集EEG数据的BCI实验，解释从深度网络中学出的比较优的滤波器。
再比如，对于利用EEG研究驾驶行为，特别是疲劳驾驶，传统结论比较支持关注EEG的alpha频段（8~13Hz）与beta频段（14~30Hz）的变化。图10展示了通过将网络特定层学到的滤波器聚类，然后画出的代表聚类中心点的滤波器的频率响应情况。从图中我们可以看到，大部分滤波器确实聚焦在上述两个频段，这个结果辅证了通过传统手段或模型得到的结论。
 

图10 用于EEG分类的神经网络filters的聚类中心滤波器响应；图片来自于实验室论文，仅作学术交流使用

 5

总   结总之，结合以上四个论点，作者比较看好深度学习与神经科学的结合。作者认为，用飞机和鸟的关系，来解释深度学习与神经科学的关系未免笼统。一是历史上经历较长时间，人们才搞清了鸟飞行的原理，发展出了空气动力学，意识到我们不用遵循鸟的方式也能飞行；但这个仿生学的过程很难说一无所获。
另外，依赖于计算机数值运算的深度学习与植根于神经元活动的神经科学，从计算方式上来说是不相同的；或许实践中不需要去严格模拟神经元及单个神经的在生物学层面的工作方式，但从总体层面了解承载相关认知功能的脑结构及其工作原理，并从神经科学的角度对相关问题进行思考，对深度学习意义深远。