国外了解深度学**最新动态的网站

作者简介：李松林，男，四川师范大学教育科学学院教授、院长、博士生导师；杨爽，女，四川师范大学教育科学学院硕士研究生。

“深度学习”的概念起源于人工神经网络的研究，并于20世纪70年代引入教育领域。以Fruns Marton()和Roger Salcio()为标志，深度学习的概念在国外已经研究了44年。在以核心素养为导向的课程改革背景下，大量中小学正在将深度学习融入到具体的课程教学实践中。鉴于此，本文拟对国外的深度学习研究进行梳理和分析，以期对我国的深度学习研究和实践有所裨益。

一、国外深度学习研究的进展和趋势

长期以来，人类主要从哲学认识论的角度研究自己的学习问题，主要讨论知识的来源、性质、过程、方法和结果。到19世纪后期，自然科学蓬勃发展，实验心理学的诞生使心理学从哲学矩阵中脱颖而出，人类自主学习问题的研究进入实验研究阶段。然而，作为一种极其复杂的现象，人类的学习活动并不能准确地解释自然情境中真实的人类学习活动。在这种情况下，人类学习的研究又开始关注自然情境，从而进入了关注自然情境的多学科整合研究阶段。国外深度学习的兴起，恰恰是人类学习问题研究进入多学科整合研究阶段的产物。

(1)国外深度学习研究的发展阶段

第一阶段：深度学习思想的早期孕育。早在20世纪初，杜威()就倡导“做中学”，强调教会学生自主学习和反思性思维。之后，威廉赫德克伯屈()提出了设计教学法，本杰明布鲁姆()主张发现教学，大卫保罗奥苏贝尔()和罗杰斯()强调有意义的学习，当代建构主义学习理论主张以问题为基础的教学等。所有这些，虽然没有明确提到深度学习的概念，但是都包含了深度学习的思想。此外，布鲁姆的目标分类学将学习的认知目标分为六个层次项目：记忆、理解、应用、分析、综合和评价。在此基础上，Anderson(，L.W .)等人将学习的认知目标分为记忆、理解、应用、分析、评价和创新六个层次项目。所有这些学习分类已经包含了学习有不同层次的思想。

第二阶段：深度学习的正式学习。1976年，Fruns Marton和Roger Salcio在文章《学习的本质区别：结果和过程》中首次提出了深度学习的概念。他们认为，使用深度学习方法的学生往往具有“更有内在兴趣，注重理解，强调意义，注重学习内容各部分之间的联系，系统地陈述问题或概念的整体结构假设”的特点[1]。这标志着国外深度学习开始进入概念化的正式研究阶段。后来，比格斯等人在20世纪90年代前后发展了浅学习和深学习理论，将深学习定义为学习者使用各种学习策略来理解学习材料的学习。此外，尼尔森莱尔德(NelsonLaird)、科尔布(Kolb)和威格尔(Weigel)也从不同角度界定了深度学习的内涵。同时，国外许多学者在比较浅学和深学的基础上，揭示了深学的基本特征。其中，埃里克詹森和莱安埃里克森将深度学习的基本特征描述为五个方面：高层次思维、深度加工、深度理解、主动建构和解决问题。[2]

第三阶段：深度学习研究的拓展。1999年《人是如何学习的——大脑、心理、经验及学校》，JohnD编辑。布兰斯福德，AnnL。布朗和罗德尼。《科金》，在美国出版。这本书基于当代知识观的转向，围绕学习的发生机制提出了许多突破性的观点，并在2004年得到了极大的拓展，教育传播与技术协会(AECT)重新定义了教育技术，认为学习不仅仅是信息的记忆，简单的记忆已经不能满足社会发展的要求，进而确定深度学习为未来教育技术发展的基本理念和方向。以此为契机，深度学习研究的地域、范围、内容和方法得到进一步拓展。

第四阶段：深度学习研究的重点。近十年来，国外学者围绕“人的深度学习是如何发生的”和“如何促进人的深度学习”两个主题，分别从三个层面对深度学习进行了较为系统和深入的研究。第一是理论探讨，主要围绕深度学习的理论基础、发生条件和促进策略，探索深度学习的几种实施模式。二是实践探索。一方面，将深度学习的研究成果应用到具体学科课程的教学实践中；另一方面，结合学科教学实例，探讨深度学习的发生条件和内在机制。三是技术的应用，利用各种信息技术工具支持和优化学习环境，促进学生的深度学习。

(二)国外深度学习研究的趋势和特点

国外深度学习的研究总体上有三个基本趋势：一是注重深度学习的实证研究和真实课堂条件下学生素养的发展；二是从个体具体经营策略的探讨到广义经营模式的构建；第三，环境支持系统的设计已经从单纯着眼于深度学习的技术支持。

深度学习的研究呈现出两个明显的特点。第一，关注真实的课堂。它不仅将深度学习的研究成果应用于跨学科教学和跨学科综合学习，而且借助具体的教学实例进一步探讨了深度学习的机制；从深度学习的理论角度来看，设计型学习、问题型学习、循证学习、概念型学习和理解型学习等多种学习应运而生。

模式，又对这些学习模式在真实课堂中的应用效果进行实证研究。第二，完善实证研究。20世纪80年代至90年代前，国外学者采用实验研究方法，借助科学实验探究和验证深度学习理论。发展到21世纪，尽管国外学者仍然主要采用问卷调查、课堂观察和微型测验等研究方法，但为了准确评估学生学习的实时情况，又努力专注于优化线下测量和更多在线测量的方法和工具，包括眼动跟踪、线索回忆、出声思考、微分析、日记、观察量表、访谈工具、焦点报告、计算机跟踪数据等。[3]

　　二、国外深度学习的研究问题及其成果

自深度学习研究进入概念化的正式研究阶段以来，国外学者主要围绕深度学习的基本内涵、内在机制和实施模式三个问题展开研究，并取得了一系列的研究成果。

（一）深度学习的基本内涵

概括起来，国外学者在深度学习内涵的界定上形成了四种观点。[4]

1.深度理解说。这种观点侧重于学习者对知识的理解，认为深度理解是深度学习的基本标尺。无论是深度学习的目的与方式，还是深度学习的过程与结果，深度理解在其中都居于核心的地位。持这种观点的代表人物比格斯、恩特威斯尔（Entwistle）和拉姆斯登（Ramsden）等学者认为，深度学习是学习者善于选择多种不同的学习策略沟通知识与知识之间的纵横联系，灵活地迁移运用知识应对实践情境中具有挑战性的复杂问题，从而达成对学习材料的理解。[5]

2.理解-迁移说。这是国外学者在深度学习内涵认识上最为普遍的观点。这种观点既强调学习者对知识的深度理解，又强调学习者在问题解决中的知识迁移与运用。在埃里克詹森（EricJensen）和利恩尼克尔森（LeAnnNickelsen）两位学者看来，深度学习不仅要求学习者通过多次的信息加工、精细的深度建构和复杂的高阶思维去获得新的知识和技能，而且还要求学习者能够主动改变自己的认知结构、思维模式和行为方式来迁移运用新获得的知识、技能去解决实践情境中的复杂问题。[6]

3.体验学习说。这一观点基于库伯的经验学习理论，将学习视为一个体验学习圈。库伯认为体验是人类学习与发展的源泉，学习则是学习者掌握经验、改造经验和运用经验适应外部世界的持续过程。由此出发，库伯等人将经验学习和深度学习加以整合，认为深度学习是“充分地整合了经验学习模式中的体验、反思、归纳、应用等环节的一种学习”[7]。

4.三元学习说。这种观点的代表人物纳尔逊莱尔德（NelsonLaird）等人基于深度学习量表的实证分析，发现整合性学习、高阶学习和反思性学习是深度学习中至关重要且有机结合的三个成分。其中，整合性学习是指学习者基于自己已有的生活经验和认知结构，融通多个学科领域的知识，并通过多种不同途径和方式对知识进行学习；高阶学习是指学习者将更高层次的认知能力，运用于知识的建构和问题解决过程之中；反思性学习是指学习者对自己的思维模式、学习策略和问题解决过程进行认知、监控和调节。[8]

　　（二）深度学习的内在机制

在国外理论界，学者普遍将元认知理论、建构主义理论、分布式认知理论和情境认知理论作为揭示深度学习内在机制的主要理论基础。国外很多学者的实证研究表明：如果学生具有高的元认知水平，他就能够更好地认识、运用和调控自己的认知，进而展开更有深度的学国外了解深度学**最新动态的网站习。在建构主义理论视角下，作为条件的真实情境、作为具体过程的协作和会话以及作为目的的意义建构，乃是创设深度学习环境的四个要素。根据分布式认知理论，深度学习必须突显知识的社会性，强调学习者与学习共同体和环境的多向互动。在情境认知（SituatedCognition）理论视角下，深度学习不是别的，而是学习者参与真实情境中的实践，与他人及环境相互作用的过程。[9]正是通过特定情境中的实践参与，学习者不仅更有深度地建构着外部的知识，同时更有深度地建构着自我的身份。因此，在情境认知理论的视域中，深度学习的实现必须从根本上突破“理论优于实践，理论先于实践”的错误认识以及“学用分离，先学后用”的学习模式。综合国外学者的诸多研究和著述，可以将深度学习的内在机制归纳为四个方面。

1.深度学习的发生机制：情境诱发—问题驱动

在学生具备学习基础的前提下，情境诱发和问题驱动乃是深度学习发生的两个重要条件。深度学习的发生首先需要触发学生内心的深层动机。没有深层动机的触发，学生便难以主动地将新旧知识联系起来，更不要说对新知识进行深度地加工和理解。其次，知识从它的产生开始，就根植于特定的情境之中。脱离了特定的情境，知识就只剩下一堆符号形式的外壳，毫无意义可言。脱离特定情境和特定情境中的问题，学生便难以理解和建构知识所蕴含的深层意义，因而难有深度学习的发生。正是借助情境诱发和问题驱动，既触发着学生的深层动机，又驱动着学生对知识的深度建构。

　　2.深度学习的维持机制：切身体验—高阶思维

如果说情境诱发和问题驱动引发了学生的深度学习，那么，切身体验与高阶思维无疑是维持深度学习的两个重要条件。唯有学生的切身体验和高阶思维，才能促使学生展开由外而内和由内而外的双向理解之路，才能促使学生展开由浅入深、由分到合和由知到行的渐进理解之路，从而维持学生的深度学习。正因如此，库伯才将体验提升到人的学习和发展的源泉的高度，并在他的体验学习模式中去界定深度学习。其他很多学者也将分析、综合、评价、创新、元认知和批判性思维等高阶思维能力视为深度学习的一个核心成分。

3.深度学习的促进机制：实践参与—问题解决

说到底，深度学习最终必须通过学生的实践应用能力和问题解决能力表现出来。反过来，实践参与又是促进学生深度学习的根本机制。而在课堂学习条件下，实践参与的实质则是让学生参与问题的解决。正因如此，国外学者看到实践参与和问题解决在学生深度学习中的促进作用。洛恩斯索菲（LoyensM.M.Sofie）在真实课堂环境条件下对“基于问题的学习”（PBL）所展开的实证研究，则证明了“基于问题的学习”模式的确明显地促进了学生的深度学习。[10]如果说情境诱发和问题驱动是深度学习的两个发生条件，切身体验和高阶思维是深度学习的两个维持条件，那么，实践参与和问题解决则在情境诱发、问题驱动、切身体验和高阶思维中同时发挥着促进器的作用。

　　4.深度学习的支持机制：在线学习—虚拟现实

深度学习的实现，需要在学习环境的创设上进行一次真正的革命。这种学习环境需要确保学习者在意义建构中的中心地位，强调学习者先前经验和日常经验的重要性，注重知识的真实情境和学习者的情境化思维，促进个人看法与他人多种观点的协商和解释，需要运用技术来支撑更为高级的心智过程。[11]另外，吉莉安阿米特（GillianArmitt）和弗朗西斯斯莱克（FrancesSlack）通过实验证明采用实时通信方式的在线学习对学生的深度学习具有积极的作用，海伦巴雷特（HelenBarrett）认为，新兴的数位叙事技术（DigitalStorytelling）是促进深度学习的一种工具；安德鲁约翰逊（AndrewJohnson）、斯特兰奥尔松（StellanOhlsson）等人的研究则表明运用虚拟现实技术在学生的深度学习中具有明显的支持作用。正因如此，在线学习和虚拟现实乃是深度学习的重要支持机制。

概言之，情境诱发—问题驱动、切身体验—高阶思维、实践参与—问题解决和在线学习—虚拟现实分别从深度学习的发生、深度学习的维持、深度学习的促进和深度学习的支持四个方面，构成了深度学习的实现机制。自觉地运用深度学习的四个机制，将为中小学校的深度学习实践提供更为可靠的理论基础。

　　（三）深度学习的实施模式

关于深度学习的实施模式，国外较有代表性的是比格斯的“预测—过程—结果”模式、埃里克詹森和利恩尼克尔森的深度学习路线以及美国密西西比州立大学杜建霞提出的深度学习框架。

1.比格斯的“预测—过程—结果”模式

澳大利亚学者比格斯针对学生的深度学习过程，提出了“预测—过程—结果”模式。在他看来，预测、过程和结果虽然独立存在但却相互联系。其中，学生的个性特征和当前的学习环境共同构成了预测因素。预测因素对学习的过程以及学习的结果都会产生直接或间接的影响。在个性特征和学习环境的双重影响下，学生基于自己对学习情境的感知，并在动机和策略的导引下，选择和运用自己的学习方法。学习方法的选择与运用又直接影响着学生的最后学习结果，而学生所获得的所有学习结果又会构成新一轮学习的预测因素，由此形成一个不断循环和交互影响的学习过程。[12]

　　2.埃里克詹森和利恩尼克尔森的深度学习路线

埃里克詹森和利恩尼克尔森在《深度学习的7种有力策略》一书中，着眼于帮助学习者深度理解知识和发展高阶认知能力，提出了深度学习的路线（DeeperLearningCycle，DELC）。深度学习路线模式包括标准与课程设计、预先评估、积极的学习文化营建、先前知识的预备与激活、新知识的获取、知识的深度加工以及学习的评价等具体的操作步骤。[13]其中，学习的评价又成为新一轮标准与课程设计的重要依据。

3.杜建霞的深度学习框架

基于奥利弗（Oliver）和麦克劳林（Mcloughlin）提出的五种类型学习过程，美国密西西比州立大学的杜建霞将社会性的交互、程序性的交互、说明性的交互、解释性的交互以及认知性的交互五种类型，归纳总结为信息记忆、方法实践和创造性认知三个层次的学习环节，由此提出“三步递进”的深度学习框架。在该框架中，杜建霞将浅层学习看作是深度学习的基础，因而第一步是学习者对知识进行浅层加工和简单记忆；第二步在浅层学习的基础上，将浅层加工和简单记忆的知识转化为能力，进而掌握程序性知识以及解决问题的方法；最后一步则是运用学习策略和问题解决策略对学习内容进行深度理解和创作性运用，进而帮助学习者形成和掌握新的学习策略和问题解决策略，同时发展出更为高阶的思维能力。[14]

　　三、国外深度学习研究未来可能取得的突破

从整体上看，尽管国外学者对深度学习的基本内涵、内在机制、实施模式和具体策略等问题展开了诸多研究和著述，但在深度学习的本质内涵、内在结构和基本模式三个问题的研究上仍显不足。未来的深度学习理论与实践，需要在这三个问题的研究认识上有些突破。

（一）深度学习的本质内涵

国外学者在深度学习的基本内涵上至今尚未达成共识。深度学习的本质内涵究竟是什么？笔者认为，分析和回答这个问题需要从三个方法论路径展开。

首先，回到深度学习的源头上来。从社会基础来看，深度学习乃是适应信息社会发展需求的现实产物。信息社会对学校教育提出了新的使命，要求学校着力培育学习者的更为广泛而强健的社会适应力。在这种社会需求的驱使下，学校需要从根本上转变和突破“学习即知识获得”的传统思想观念，将学习的重心放在培育与提升

深度学习的最新进展

1.深度学习导论

深度学习是机器学习领域的一个新的研究方向。近年来，语音识别、计算机视觉等应用取得了突破性进展。动机在于建立一个模型来模拟人脑的神经连接结构。在处理图像、声音和文本信号时，通过多个变换阶段对数据特征进行分层描述，并给出数据解释。以图像数据为例，灵长类视觉系统依次处理这样的信号：首先检测边缘和初始形状，然后逐渐形成更复杂的视觉形状。同样，深度学习通过组合低层特征形成更抽象的高层表示、属性类别或特征，并给出数据的分层特征表示。

深度学习本质上是一种复杂的机器学习算法，在语言和图像识别方面取得的成果远远超过以往的相关技术。在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术等相关领域取得了诸多成就。深度学习使机器模仿人类的视听、思维等活动，解决了许多复杂的模式识别问题，在人工智能相关技术上取得了长足的进步。

2.深度学习发展概述

新开发的深度学习流行技术的发展历史并没有人们想象的那么短。其实深度学习的起源可以追溯到20世纪40年代，经历了几个发展高峰。只是不同时期采用的名称，最近才被称为“深学”。

到目前为止，神经网络经历了三次发展高潮。神经网络最早的前身是20世纪40年代至60年代神经科学视角下的简单线性模型。这些模型希望通过学习一组权重来获得期望的输出结果。因此，第一波对神经网络的研究被称为控制论，这一时期发展起来的简单学习算法极大地影响了机器学习的发展。随机梯度下降法至今仍是深度学习的主要训练算法。但是线性模型有很多局限性。最著名的是，他们不会学习异或函数，观察到线性模型缺陷的批评家们普遍抵制它，导致了神经网络繁荣的第一次大衰退。

20世纪80年代，在认知科学的背景下，联结主义应运而生。联结主义的中心思想是，当网络连接大量简单的计算单元时，就可以实现智能行为，这与生殖系统中神经元的工作原理是一致的。神经网络迎来了第二次发展高潮，但受计算机硬件水平的限制，研究人员建立的模型对于处理大量数据并不理想。同时，在机器学习的其他领域(核方法，图形，

神经网络的第三次高潮是在2006年。名为置信度网络的神经网络可以使用贪婪预训练策略进行训练，这是深度学习的一大突破。这种策略也可以用于训练其他神经网络，使其在更多领域得到广泛应用。新浪潮以“深度学习”一词深入人心，表明目前的研究人员已经能够训练深度神经网络。神经网络的第三次高潮一直到现在。

3.深度学习算法的介绍及应用

1)在[1]中，总结了神经网络的发展，介绍了几种提出的算法，并说明了如何将这些算法结合起来生成一种混合方法，该方法可以在多层和数百万个自适应连接的网络中高效地工作。

2)在[2]中，描述了多层随机神经网络的无监督学习算法，并引入唤醒算法解决多层神经网络监督算法面临的问题，如需要指定网络的期望输出，需要一些方法将错误信息传递给所有连接。

3)在[3]中，提出了使用未标记数据来构造特征检查器。以人脸识别为例，用1000万数据集验证了这个问题，并使用了深度稀疏自动编码器。结果表明，不需要预先标记人脸数据，对于图像平移和缩放的识别效果也非常鲁棒。

4.信任网络的改进及应用

1)在文献[4]中，鉴于大多数信念网络涉及概率推理，使用标准确定性硬件的软件来提供将数十亿个晶体互连成有用网络所需的增益和方向性，构建了一个名为的概念。该设备利用构建的纳米磁体物理装置，将突触的功能与类晶体管的增益和方向性相结合，用实验基准模型模拟已建立的现象，构建概率网络。

2)在深度信念学习算法[5]中，针对信念网络隐含层多、学习过程初始化慢、权重难以调整等问题，利用“互补先验”的概念构造了一种快速贪婪算法，可以一次学习一层深度的、有针对性的信念网络。该算法生成的模型在模式识别中有很好的效果，微调后的模型是最好的

3)在使用深度信念网络的声学建模的语音识别的研究中[6]，通过增加神经网络的层数和大量参数，并且作为语音系数窗口的生成模型逐层“预训练”多层神经网络，容易优化具有多层隐藏单元的深度神经网络。然后用标准的反向传播算法进行判别微调，再对每一层的特征稍加调整，使其更有利于区分，可以代替高斯混合模型，达到更好的手机识别性能。该模型以预训练为特征，在语音系数窗口构建信息更丰富的多层生成模型来寻找特征本身，不需要标注数据。

4)在基于能量的稀疏表示模型[7]的高效学习中，描述了一种新的无监督学习方法来识别图像特征。该模型使用线性编码器和线性解码器直接稀疏编码的非线性，优于损失函数

中增加一个稀疏项来控制要简单得多，该模型没有以前提出的稀疏过度完整特征学习方法的低效率和特性。解码器产生补丁的精确重建，而编码器提供代码的快速预测，而不需要对输入图像进行任何特定的预处理。

5)在Real-timeclassificationandsensorfusionwithaspikingdeepbeliefnetwork[8]中，提出了由于深信度网络固有的需要反馈和大量单元的并行更新，在串行计算机上实现DBN是昂贵的问题的解决方案，文章提出一种利用尖峰神经元的发射速率的近似来使DBN的常规训练算法与尖峰神经元适应的新颖方法，这是一种从模型分布采样以及不同感官模型的融合提供了一种新颖且计算强大的模型，大大提升了识别效率。

6)在Reducingthedimensionalityofdatawithneuralnetworks[9]中，描述了一个初始化权重的有效方法，允许深度自动编码器网络学习低于主要组件分析的低维代码作为降低数据维度的工具，来解决当利用多层神经网络来重建高维输入向量，将高维数据转换为低维码时，只有初始权重接近良好的解决方案时，才能正常工作的问题。

5.玻尔兹曼机的改进和应用

1)在TrainingrestrictedBoltzmannmachines:anIntroduction[10]中，从马尔可夫随机场的角度介绍RBM，从所需的无向图模型的概念开始。讨论了不同的RBM学习算法，包括对比散度学习和平行回火。作为RBM的抽样，以及大部分的学习算法，都是基于马尔科夫链蒙特卡罗(MCMC)方法，提供了马尔可夫链和MCMC技术的介绍。实验证明了RBM培训的相关方面。

2)在AdaptivesensormodellingandclassificationusingacontinuousrestrictedBoltzmannmachine(CRBM)[11]中，使用连续受限玻尔兹曼机(CRBM)在嵌入式传感器的无线系统中执行本地数据融，证明CRBM能够模拟复杂的非高斯分布，并自动调整到测量的传感器漂移，CRBM可以解决典型的基于联想记忆模型的灾难性干扰问题，并证明自适应传感器融合在动态环境中的优势。

3)在RestrictedBoltzmannmachinesforcollaborativefiltering[12]中，使用限制玻尔兹曼机来模拟表格数据，来解决了现有的协同过滤技术不能处理非常大的数据集，以用户对于电影的评分为例，本文为这一类模型提供高效的学习和推理程序，并证明RBM可以成功应用于Netflix数据集，其中包含超过1亿用户/电影评级。

4)在SpectralclassificationusingrestrictedBoltzmannmachine[13]中，将受限制的玻尔兹曼机应用于天文学中的光谱分类，在谱分类之前，原始数据按照一定的规则进行二值化。然后用于二元受限玻尔兹曼机器来分类灾变变量和非灾变变量(所有给定数据的一半用于训练，另一半用于测试)。实验结果显示了100%的最新精度，这表明了二元受限波尔兹曼算法的效率。

5)在TemperaturebasedrestrictedBoltzmannmachines[14]中，根据玻尔兹曼分布依赖于温度的物理事实，文中引入称为“温度参数”的参数T来修改RBM，并且提出了一种名为“基于温度的受限玻尔兹曼机”(TRBM)的模型，新引入的T只是一个给RBM带来更多灵活性(或更多自由度)的参数。当T=1时，模型TRBM减少到现有的RBM。并在文中进一步证明，温度参数T起着控制隐藏层中发射神经元选择性的重要作用。

6.神经元模型的介绍及改进

1952年，A.L.Hodgkin和A.F.Huxley基于鱿鱼巨大原子的电生理实验，提出了一种非线性动力学系统作为神经膜的数学模型。神经膜中的混沌已经在混沌文献中进行了理论和实验研究。

1)在AdaptiveControloftheFitzHugh-NagumoChaoticNeuronModel[15]中，研究了著名的FitzHugh-Nagumo(FHN)混沌神经元模型的定性性质，这是对Hodgkin-Huxley模型的二维简化。接下来，通过自适应控制方法获得FitzHugh-Nagumo(FHN)神经元模型的输出调节的新结果。并运用MATLAB图来说明FitzHugh-Nagumo(FHN)神经元模型的相位以及FHN神经元模型的输出调节。

2)在All-memristiveneuromorphiccomputingwithlevel-tunedneurons[16]中，提出一个全记忆神经形态结构，包括通过使用相变忆阻器的物理性质和状态动态来实现神经元和突触的性质。该架构采用了将同一层中的神经元互连的新概念，从而让神经元有着水平调整来优先处理输入信息的性质。文中在无监督学习和在并行输入流中检测多个时间相关性的实验中证明了所提出的体系结构。

3)在ResponseofHodgkin-Huxleystochasticburstingneurontosingle-pulsestimulus[17]一文研究了具有外部高斯噪声的Hodgkin-Huxley神经元模型，以标准的Hodgkin-Huxley模型为基础，并考虑了系统强非线性的激励阈值附近的参数范围；让随机系统在脉冲状刺激下不再是平稳的，而且也不用传统的方法来量化随机过程，最后使靠近激励阈值的神经元显示迟滞，该模型在参数范围内表现出稳态；论文以简化电流的单脉冲来研究系统的简单响应。当噪声幅度增加时，刺激和第一个尖峰之间的延迟时间大大减少，甚至对于亚阈值刺激也是如此。刺激后突发的峰值的平均数量在一定的噪声幅度范围内是最大的。因此，可以得出随机爆发的Hodgkin-Huxley神经元对单脉冲刺激的敏感性比无声刺激的灵敏度更高的结论。

4)在Asimplifiedcomputationalmemorymodelfrominformationprocessing[18]中，从信息处理的角度提出了一种计算模型，首先定义基于生物学和图论的元记忆来表达神经元或大脑皮质，然后用建模算法通过映射节点和边缘来开发一个模块内网络，然后描述双模块网络采用模块化内部模块化。构造了一个通过抽象记忆功能和模拟记忆信息处理的双模块分层功能记忆网络，称为简化记忆信息检索网络(SMIRN)的模型，理论分析和仿真结果表明，该模型符合信息处理视角下的记忆现象。

7.深度学习最新著作的介绍

1)在LearningbothWeightsandConnectionsforEfficientNeuralNetworks[19]中，描述了一种方法来减少神经网络所需的存储和计算一个数量级，而不影响它们的准确性，只学习重要的连接(首先，训练网络来了解哪些连接是重要的。接下来，剪掉非重要的连接。最后，重新训练网络来微调其余连接的权重)；成功的解决了传统神经网络难以在嵌入式网络上部署，并且在训练期间不能改变其结构的限制。

2)在ScheduledSamplingforSequencePredictionwithRecurrentNeuralNetworks[20]中，描述了一种可以被训练以产生一些输入的令牌序列的递归神经网络，存在着训练和推断之间的差异会产生可以沿着生成的序列快速积累的错误，文章中提出了一个课程学习策略，从一个完全指导的方案，使用真正的上一个令牌，转向一个主要使用生成的令牌的较少指导方案，从而轻松地将训练过程改变。对几个序列预测任务的实验表明，这种方法产生了显着的改进。

3)在LearningMulti-DomainConvolutionalNeuralNetworksforVisualTracking[21]中，基于一个已经受训好的神经网络，文章提出了一种新颖的视觉追踪算法，首先使用大量视频追踪事实为基础来预先训练CNN，以获得通用的目标函数表示，用共享图层和多个特定领域层的分支构成神经网络，随后迭代地训练网络中的每个域以获得共享层中的通用目标函数表示。当以新序列跟踪目标时，通过将预训练CNN中的共享层与新的在线更新的二元分类层相结合来构建新的网络。通过评估在前一个目标状态周围随机采样的候选窗口来进行在线跟踪。所提出的算法表现了现有跟踪基准的优异性能。

4)在Multi-CentralityGraphSpectralDecompositionsandTheirApplicationtoCyberIntrusionDetection[22]中，文章提出了一种新的单图分析的PCA方法，称为多中心图PCA(MC-GPCA)，以及一种新的的字典学习方法，称为多中心图学习(MC-GDL)两者都基于多中心矩阵的谱分解。并据此来集成了多个特征(包括中心度量和参考节点的图形距离)。作为网络入侵检测的一种应用，MC-GPCA可以作为异常连接模式的有效指示，MC-GDL可以为攻击分类提供判别依据。

5)在PixelRecurrentNeuralNetworks[23]中，在处理自然图像的分布建模上，提出了一个深度神经网络，按照顺序预测沿着两个空间维度的图像中的像素，这个方法模拟了原始像素值的离散概率，并对图像中的完整的依赖关系进行了编码。网络结构新奇，包括快速的二维递归层等等。以不同的ImageNet数据集为基准，模型生成的结果清晰多样，在自然图像上获得对数似然分布，这比以前的分布水平要好得多。

6)在ConditionalRandomFieldsasRecurrentNeuralNetworks[24]中，为了解决深度学习技术去除视觉对象的能力有限的问题，引入了一个新型卷积神经网络，它结合了卷积神经网络(CNNs)和基于条件随机场(CRFs)的概率图模型的优势，将带有高斯成对电位的条件随机场作为递归神经网络的平均场近似推断，然后将这个称为CRF-RNN的网络作为CNN的一部分插入，以获得具有CNN和CRF的所需特性的深度网络。使得可以用通常的反向传播算法对整个深度网络进行端到端的训练。新的算法在语义图像分割问题上获得了最佳结果。

7)在MultimodalDeepLearning[25]中，提出了一种深度网络的新颖应用来学习多种形式的特征，展示了交叉模态特征学习，其中如果在特征学习时间存在多个模态(例如，音频和视频)，则可以学习针对一个模态(例如，视频)的更好特征。此外，论文展示了如何学习模态之间的共享表示，并在一个独特的任务上进行评估，分类器只使用纯音频数据进行训练，而对纯视频数据进行测试，反之亦然。获得了良好的效果。

8)在AnEmpiricalExplorationofRecurrentNetworkArchitectures[26]中，研究了特定的递归神经网络(RNN)架构——长期短期记忆(LSTM)，论文目标是首先确定LSTM架构是否是最佳的，或者是否有

标签： #国外了解深度学**最新动态的网站