深度学习的最新进展

1.深度学习导论

深度学习是机器学习领域的一个新的研究方向。近年来，语音识别、计算机视觉等应用取得了突破性进展。动机在于建立一个模型来模拟人脑的神经连接结构。在处理图像、声音和文本信号时，通过多个变换阶段对数据特征进行分层描述，并给出数据解释。以图像数据为例，灵长类视觉系统依次处理这样的信号：首先检测边缘和初始形状，然后逐渐形成更复杂的视觉形状。同样，深度学习通过组合低层特征形成更抽象的高层表示、属性类别或特征，并给出数据的分层特征表示。

深度学习本质上是一种复杂的机器学习算法，在语言和图像识别方面取得的成果远远超过以往的相关技术。在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术等相关领域取得了诸多成就。深度学习使机器模仿人类的视听、思维等活动，解决了许多复杂的模式识别问题，在人工智能相关技术上取得了长足的进步。

2.深度学习发展概述

新开发的深度学习流行技术的发展历史并没有人们想象的那么短。其实深度学习的起源可以追溯到20世纪40年代，经历了几个发展高峰。只是不同时期采用的名称，最近才被称为“深学”。

到目前为止，神经网络经历了三次发展高潮。神经网络最早的前身是20世纪40年代至60年代神经科学视角下的简单线性模型。这些模型希望通过学习一组权重来获得期望的输出结果。因此，第一波对神经网络的研究被称为控制论，这一时期发展起来的简单学习算法极大地影响了机器学习的发展。随机梯度下降法至今仍是深度学习的主要训练算法。但是线性模型有很多局限性。最著名的是，他们不会学习异或函数，观察到线性模型缺陷的批评家们普遍抵制它，导致了神经网络繁荣的第一次大衰退。

20世纪80年代，在认知科学的背景下，联结主义应运而生。联结主义的中心思想是，当网络连接大量简单的计算单元时，就可以实现智能行为，这与生殖系统中神经元的工作原理是一致的。神经网络迎来了第二次发展高潮，但受计算机硬件水平的限制，研究人员建立的模型对于处理大量数据并不理想。同时，在机器学习的其他领域(核方法，图形，

神经网络的第三次高潮是在2006年。名为置信度网络的神经网络可以使用贪婪预训练策略进行训练，这是深度学习的一大突破。这种策略也可以用于训练其他神经网络，使其在更多领域得到广泛应用。新浪潮以“深度学习”一词深入人心，表明目前的研究人员已经能够训练深度神经网络。神经网络的第三次高潮一直到现在。

3.深度学习算法的介绍及应用

1)在[1]中，总结了神经网络的发展，介绍了几种提出的算法，并说明了如何将这些算法结合起来生成一种混合方法，该方法可以在多层和数百万个自适应连接的网络中高效地工作。

2)在[2]中，描述了多层随机神经网络的无监督学习算法，并引入唤醒算法解决多层神经网络监督算法面临的问题，如需要指定网络的期望输出，需要一些方法将错误信息传递给所有连接。

3)在[3]中，提出了使用未标记数据来构造特征检查器。以人脸识别为例，用1000万数据集验证了这个问题，并使用了深度稀疏自动编码器。结果表明，不需要预先标记人脸数据，对于图像平移和缩放的识别效果也非常鲁棒。

4.信任网络的改进及应用

1)在文献[4]中，鉴于大多数信念网络涉及概率推理，使用标准确定性硬件的软件来提供将数十亿个晶体互连成有用网络所需的增益和方向性，构建了一个名为的概念。该设备利用构建的纳米磁体物理装置，将突触的功能与类晶体管的增益和方向性相结合，用实验基准模型模拟已建立的现象，构建概率网络。

2)在深度信念学习算法[5]中，针对信念网络隐含层多、学习过程初始化慢、权重难以调整等问题，利用“互补先验”的概念构造了一种快速贪婪算法，可以一次学习一层深度的、有针对性的信念网络。该算法生成的模型在模式识别中有很好的效果，微调后的模型是最好的

3)在使用深度信念网络的声学建模的语音识别的研究中[6]，通过增加神经网络的层数和大量参数，并且作为语音系数窗口的生成模型逐层“预训练”多层神经网络，容易优化具有多层隐藏单元的深度神经网络。然后用标准的反向传播算法进行判别微调，再对每一层的特征稍加调整，使其更有利于区分，可以代替高斯混合模型，达到更好的手机识别性能。该模型以预训练为特征，在语音系数窗口构建信息更丰富的多层生成模型来寻找特征本身，不需要标注数据。

4)在基于能量的稀疏表示模型[7]的高效学习中，描述了一种新的无监督学习方法来识别图像特征。该模型使用线性编码器和线性解码器直接稀疏编码的非线性，优于损失函数

中增加一个稀疏项来控制要简单得多，该模型没有以前提出的稀疏过度完整特征学习方法的低效率和特性。解码器产生补丁的精确重建，而编码器提供代码的快速预测，而不需要对输入图像进行任何特定的预处理。

5)在Real-timeclassificationandsensorfusionwithaspikingdeepbeliefnetwork[8]中，提出了由于深信度网络固有的需要反馈和大量单元的并行更新，在串行计算机上实现DBN是昂贵的问题的解决方案，文章提出一种利用尖峰神经元的发射速率的近似来使DBN的常规训练算法与尖峰神经元适应的新颖方法，这是一种从模型分布采样以及不同感官模型的融合提供了一种新颖且计算强大的模型，大大提升了识别效率。

6)在Reducingthedimensionalityofdatawithneuralnetworks[9]中，描述了一个初始化权重的有效方法，允许深度自动编码器网络学习低于主要组件分析的低维代码作为降低数据维度的工具，来解决当利用多层神经网络来重建高维输入向量，将高维数据转换为低维码时，只有初始权重接近良好的解决方案时，才能正常工作的问题。

5.玻尔兹曼机的改进和应用

1)在TrainingrestrictedBoltzmannmachines:anIntroduction[10]中，从马尔可夫随机场的角度介绍RBM，从所需的无向图模型的概念开始。讨论了不同的RBM学习算法，包括对比散度学习和平行回火。作为RBM的抽样，以及大部分的学习算法，都是基于马尔科夫链蒙特卡罗(MCMC)方法，提供了马尔可夫链和MCMC技术的介绍。实验证明了RBM培训的相关方面。

2)在AdaptivesensormodellingandclassificationusingacontinuousrestrictedBoltzmannmachine(CRBM)[11]中，使用连续受限玻尔兹曼机(CRBM)在嵌入式传感器的无线系统中执行本地数据融，证明CRBM能够模拟复杂的非高斯分布，并自动调整到测量的传感器漂移，CRBM可以解决典型的基于联想记忆模型的灾难性干扰问题，并证明自适应传感器融合在动态环境中的优势。

3)在RestrictedBoltzmannmachinesforcollaborativefiltering[12]中，使用限制玻尔兹曼机来模拟表格数据，来解决了现有的协同过滤技术不能处理非常大的数据集，以用户对于电影的评分为例，本文为这一类模型提供高效的学习和推理程序，并证明RBM可以成功应用于Netflix数据集，其中包含超过1亿用户/电影评级。

4)在SpectralclassificationusingrestrictedBoltzmannmachine[13]中，将受限制的玻尔兹曼机应用于天文学中的光谱分类，在谱分类之前，原始数据按照一定的规则进行二值化。然后用于二元受限玻尔兹曼机器来分类灾变变量和非灾变变量(所有给定数据的一半用于训练，另一半用于测试)。实验结果显示了100%的最新精度，这表明了二元受限波尔兹曼算法的效率。

5)在TemperaturebasedrestrictedBoltzmannmachines[14]中，根据玻尔兹曼分布依赖于温度的物理事实，文中引入称为“温度参数”的参数T来修改RBM，并且提出了一种名为“基于温度的受限玻尔兹曼机”(TRBM)的模型，新引入的T只是一个给RBM带来更多灵活性(或更多自由度)的参数。当T=1时，模型TRBM减少到现有的RBM。并在文中进一步证明，温度参数T起着控制隐藏层中发射神经元选择性的重要作用。

6.神经元模型的介绍及改进

1952年，A.L.Hodgkin和A.F.Huxley基于鱿鱼巨大原子的电生理实验，提出了一种非线性动力学系统作为神经膜的数学模型。神经膜中的混沌已经在混沌文献中进行了理论和实验研究。

1)在AdaptiveControloftheFitzHugh-NagumoChaoticNeuronModel[15]中，研究了著名的FitzHugh-Nagumo(FHN)混沌神经元模型的定性性质，这是对Hodgkin-Huxley模型的二维简化。接下来，通过自适应控制方法获得FitzHugh-Nagumo(FHN)神经元模型的输出调节的新结果。并运用MATLAB图来说明FitzHugh-Nagumo(FHN)神经元模型的相位以及FHN神经元模型的输出调节。

2)在All-memristiveneuromorphiccomputingwithlevel-tunedneurons[16]中，提出一个全记忆神经形态结构，包括通过使用相变忆阻器的物理性质和状态动态来实现神经元和突触的性质。该架构采用了将同一层中的神经元互连的新概念，从而让神经元有着水平调整来优先处理输入信息的性质。文中在无监督学习和在并行输入流中检测多个时间相关性的实验中证明了所提出的体系结构。

3)在ResponseofHodgkin-Huxleystochasticburstingneurontosingle-pulsestimulus[17]一文研究了具有外部高斯噪声的Hodgkin-Huxley神经元模型，以标准的Hodgkin-Huxley模型为基础，并考虑了系统强非线性的激励阈值附近的参数范围；让随机系统在脉冲状刺激下不再是平稳的，而且也不用传统的方法来量化随机过程，最后使靠近激励阈值的神经元显示迟滞，该模型在参数范围内表现出稳态；论文以简化电流的单脉冲来研究系统的简单响应。当噪声幅度增加时，刺激和第一个尖峰之间的延迟时间大大减少，甚至对于亚阈值刺激也是如此。刺激后突发的峰值的平均数量在一定的噪声幅度范围内是最大的。因此，可以得出随机爆发的Hodgkin-Huxley神经元对单脉冲刺激的敏感性比无声刺激的灵敏度更高的结论。

4)在Asimplifiedcomputationalmemorymodelfrominformationprocessing[18]中，从信息处理的角度提出了一种计算模型，首先定义基于生物学和图论的元记忆来表达神经元或大脑皮质，然后用建模算法通过映射节点和边缘来开发一个模块内网络，然后描述双模块网络采用模块化内部模块化。构造了一个通过抽象记忆功能和模拟记忆信息处理的双模块分层功能记忆网络，称为简化记忆信息检索网络(SMIRN)的模型，理论分析和仿真结果表明，该模型符合信息处理视角下的记忆现象。

7.深度学习最新著作的介绍

1)在LearningbothWeightsandConnectionsforEfficientNeuralNetworks[19]中，描述了一种方法来减少神经网络所需的存储和计算一个数量级，而不影响它们的准确性，只学习重要的连接(首先，训练网络来了解哪些连接是重要的。接下来，剪掉非重要的连接。最后，重新训练网络来微调其余连接的权重)；成功的解决了传统神经网络难以在嵌入式网络上部署，并且在训练期间不能改变其结构的限制。

2)在ScheduledSamplingforSequencePredictionwithRecurrentNeuralNetworks[20]中，描述了一种可以被训练以产生一些输入的令牌序列的递归神经网络，存在着训练和推断之间的差异会产生可以沿着生成的序列快速积累的错误，文章中提出了一个课程学习策略，从一个完全指导的方案，使用真正的上一个令牌，转向一个主要使用生成的令牌的较少指导方案，从而轻松地将训练过程改变。对几个序列预测任务的实验表明，这种方法产生了显着的改进。

3)在LearningMulti-DomainConvolutionalNeuralNetworksforVisualTracking[21]中，基于一个已经受训好的神经网络，文章提出了一种新颖的视觉追踪算法，首先使用大量视频追踪事实为基础来预先训练CNN，以获得通用的目标函数表示，用共享图层和多个特定领域层的分支构成神经网络，随后迭代地训练网络中的每个域以获得共享层中的通用目标函数表示。当以新序列跟踪目标时，通过将预训练CNN中的共享层与新的在线更新的二元分类层相结合来构建新的网络。通过评估在前一个目标状态周围随机采样的候选窗口来进行在线跟踪。所提出的算法表现了现有跟踪基准的优异性能。

4)在Multi-CentralityGraphSpectralDecompositionsandTheirApplicationtoCyberIntrusionDetection[22]中，文章提出了一种新的单图分析的PCA方法，称为多中心图PCA(MC-GPCA)，以及一种新的的字典学习方法，称为多中心图学习(MC-GDL)两者都基于多中心矩阵的谱分解。并据此来集成了多个特征(包括中心度量和参考节点的图形距离)。作为网络入侵检测的一种应用，MC-GPCA可以作为异常连接模式的有效指示，MC-GDL可以为攻击分类提供判别依据。

5)在PixelRecurrentNeuralNetworks[23]中，在处理自然图像的分布建模上，提出了一个深度神经网络，按照顺序预测沿着两个空间维度的图像中的像素，这个方法模拟了原始像素值的离散概率，并对图像中的完整的依赖关系进行了编码。网络结构新奇，包括快速的二维递归层等等。以不同的ImageNet数据集为基准，模型生成的结果清晰多样，在自然图像上获得对数似然分布，这比以前的分布水平要好得多。

6)在ConditionalRandomFieldsasRecurrentNeuralNetworks[24]中，为了解决深度学习技术去除视觉对象的能力有限的问题，引入了一个新型卷积神经网络，它结合了卷积神经网络(CNNs)和基于条件随机场(CRFs)的概率图模型的优势，将带有高斯成对电位的条件随机场作为递归神经网络的平均场近似推断，然后将这个称为CRF-RNN的网络作为CNN的一部分插入，以获得具有CNN和CRF的所需特性的深度网络。使得可以用通常的反向传播算法对整个深度网络进行端到端的训练。新的算法在语义图像分割问题上获得了最佳结果。

7)在MultimodalDeepLearning[25]中，提出了一种深度网络的新颖应用来学习多种形式的特征，展示了交叉模态特征学习，其中如果在特征学习时间存在多个模态(例如，音频和视频)，则可以学习针对一个模态(例如，视频)的更好特征。此外，论文展示了如何学习模态之间的共享表示，并在一个独特的任务上进行评估，分类器只使用纯音频数据进行训练，而对纯视频数据进行测试，反之亦然。获得了良好的效果。

8)在AnEmpiricalExplorationofRecurrentNetworkArchitectures[26]中，研究了特定的递归神经网络(RNN)架构——长期短期记忆(LSTM)，论文目标是首先确定LSTM架构是否是最佳的，或者是否有

标签： #国外了解深度学**最新动态的网站