| 单词 | 人工神经网络 |
| 释义 | 【人工神经网络】 拼译：arfficial neural networks 神经系统，特别是人类大脑的组织结构及功能，与生命起源、基本粒子和宇宙空间并列为人类科学研究的重大课题，多少年来一直吸引着人们的注意。其中，使许多科学家和工程技术人员特别感兴趣的是建立神经系统和人脑的数学模型，模拟其功能，用机器部分代替脑力劳动，从事智能活动。这种模型称之为人工神经网络，是自20世纪80年代以来迅速发展起来的跨学科的研究，涉及计算机与信息科学、生物学、脑科学、认知科学、物理学等多种学科，是一项跨世纪的重大研究课题。 人类对神经系统的研究有较长的历史，但近代人工神经网络研究开始的标志是美国心理学家McCulloch与Pitts在1943年提出的神经元模型，简称m－p模型，它是一个多输入、单输出的阈值逻辑处理单元，是当代神经元模型的基础。1949年，Hebb根据神经生物学中条件反射的机理提出神经细胞间突触连接强度变化的规则，称为Hebb规则，至今此规则仍在神经网络的学习方法中起着重要作用。1957年，Rosenblatt首次引进感知机概念，力图模拟生物神经系统的学习功能。感知机的研究曾引起科学界的高度重视。1969年，Minsky和Papert出版了颇有影响的《Perceptron》一书，对感知机进行了深入的理论分析，并指出它的局限性，例如它不能解决十分基本又很简单的XOR问题。书中所给出的悲观性结论导致人工神经网络的研究在大约20年时间内进入低潮。在这个时期内理论上的进展主要有Grossberg的自适应共振理论(ART)、Kohonen的自组织映射、Fukushima的认知机模型(Cognitron)和Anderson的BSB模型等。此外，Amari致力于人工神经网络的数学理论研究，Bryson和Ho首先提出多层前馈网络的误差反向传播算法(BP算法)，这些都为人工神经网络的发展奠定了基础。1982年，美国Hopfield提出一种全反馈的人工神经网络模型(HNN)，网络的运行可用非线性动力学来描述，并用此网络开拓了联想记忆和优化计算的新途径。Hopfield还给出了网络的硬件实现方案，为神经计算机的研究奠定了基础。1986年，Rumelhart等及他们组成的PDP小组再次提出多层前馈网络的BP算法，引起科学界的高度重视，为多层前馈网络的广泛应用开辟了道路。在上述两方面的研究成果引导下，自80年代起，人工神经网络的研究迅速地进入新高潮。人工神经网络是由大量基本处理／计算单元通过一定方式连接起来构成的系统，这类处理／计算单元被用来模拟生物神经元或神经系统的基本功能单元，因而称为神经元。每个神经元通常有多个输入，只有一个输出，输入与输出满足某种非线性映射关系。神经元之间通过一定的权重相互连接起来。权重用来模拟生物神经元之间的突触连接强度，它是神经信息传递和存储的重要媒介。网络的运行特性主要由网连接拓扑及突触连接强度来确定。迄今已提出的神经网络模型数以百计，基本可分为两种类型：前馈网络和反馈网络。从数学角度来看，前馈网络实现的是从输入到输出的非线性映射。前馈网络的研究主要包括：(1)非线性映射能力的研究。Hecht-Nielsen(1987，1989)、Kreinovich(1991)和White(1991)分别给出了不同条件下前馈网络的非线性映射定理，即由输入层、一个或多个隐含层和输出层构成的前馈网络，当神经元的激励函数满足一定条件时(例如为线性函数、单调递增有界连续函数，3次可微非线性函数等)，则此网络可以逼近或一致逼近任意的连续函数。这些定理的证明要求有相当数量甚至无穷多的隐含层神经元，大大超过解决实际问题所需要的数量。如何确定逼近一个非线性映射所需要的最小拓扑结构仍是有待解决的问题。(2)网络学习或训练方法的研究。目前最广泛应用的学习方法为(误差)反向传播算法，即所谓的BP算法，由此算法得到的网络称为BP网络。它实际是使网络输出与期望输出之间的平方误差最小的优化算法。BP网络被广泛应用于解决各种实际问题，例如模式识别(文字或符号识别，语言识别，一维信号或图像识别等等)、非线性自适应控制、信号压缩等。BP算法收敛速度慢、有可能陷入局部极小，是它的两个主要问题。大量论文都力图在这两方面，特别是加快收敛速度方面提出改进方法。可惜至今还没有找到公认的、容易实现且普遍适用的学习方法。反馈网络的运行特性可用差分方程或微分方程来描述，因而可与某个动力系统相对应。最典型的反馈网络之一是所有神经元之间都有权重连接的Hopfield网络(HNN)。反馈网络的研究主要包括：(1)网络的理论性研究。包括稳定性、收敛速度、存储容量及吸引子特性等。稳定性研究的理论基础是Lyapunov稳定性的第二种方法，对称网络已获得较完善的结论，非对称网络的稳定性还有待更深入的研究。从理论上讲，常见的连续性反馈网络从初始态过渡到稳定态需要无穷长的时间，为加速稳定过程。Zak(1988)在网络中引入终端吸引子，使网络在有限的时间内达成稳定态。反馈网络吸引子的吸引域大小与学习方法或权重获得的方法密切有关，通常采用的方法使吸引域大小相当不均匀，如何使吸引域均匀和增加网络的存储容量是不少研究者关注的问题。(2)网络学习方法及网络应用的研究。通过选择适当的网络能量表达方式可以获得网络权重。Hopfield用这种方法求解旅行商的最短路径问题及设计新的模数转换器，开拓了神经网络在优化及其他更广泛领域中的应用。作为联想存储器或模式分类器，最常见的学习方法是Hebb算法。Hebb算法得到的网络存储量相当小，使用代数算法或与之基本相当的正交化算法可以获得性能较好的网络解。除了当前应用最为广泛的BP网络和HNN外，比较重要的神经网络模型还有许多。例如Grossberg和Carpenter提出的自适应共振理论(ART)，至今已发展了ART1(输入量为二值数字量)、ART2(输入量为模拟量)以及由它们组成的大规模系统ART3。ART只能用来做模式分类和识别；Fukushima发展的认知机和新认知机模拟人类视觉功能，用来进行文字符号和图像的识别，获得较好的识别效果。该网络应用的主要问题在于网络的训练比较困难；Hinton(1985)等人借助统计物理学的概念和方法，提出Boltzmann机模型，使用模拟退火算法确保网络学习获得全局极小解；此外还有双向联想记忆网络(BAM)、自组织特征映射网络、正反向传播网络等各种各样的模型。尽管人工神经网络力图模拟生物神经系统的工作机理，但至今提出的模型都只模拟了生物神经系统有限的几种功能。深入研究生物神经系统的组织、结构及工作机理，提出应用广泛、性能优良、训练容易的网络模型始终是许多研究人员追求的目标。将人工神经网络与人工智能的其他领域，例如专家系统等结合在一起，有可能创造出性能更优的智能系统来。人工神经网络的硬件实现是20～21世纪的研究课题，当前已研制成功几百个神经元的集成片，但是由于神经元间存在大量权重连接，超大规模的神经网络可能需要借助集成光电子技术才能实现。在实用芯片投入市场之前，使用传式计算机等并行计算工具或专用芯片在串行计算机上虚拟实现人工神经网络的运行，也是科技人员感兴趣的课题。工程技术人员将在更广泛的领域应用人工神经网络，为此他们迫切需要改进常用网络的学习方法。人工神经网络在实际应用中的任何成就都将大大促进自身的发展。【参考文献】：1 McCullochW S，PittsW．Bull．Math．Biophys，1943，5∶1152 Hebb D O．The Organiyation of Behavior，New York：Wiley，19493 Rosenblatt F．Principles of Neurodynamies，New York：Spartan，19624 Minsky M，Papert S．Perceptrons，MIT Press，19695 Hopfield J．J．Proc．Natl．Acad．Sci．1982，79∶25546 Rumelhart D E，McClell，J L．Parallel Distributed Processing MIT Press，1986(清华大学刁颐民教授撰) |
| 随便看 |
科学参考收录了7804条科技类词条，基本涵盖了常见科技类参考文献及英语词汇的翻译，是科学学习和研究的有利工具。