您的当前位置是：第四章 计算智能>>学习内容>>知识点二

人的智能来源于大脑，如何从结构上对人脑进行模拟，在细胞的水平上模拟脑功能是神经计算研究的核心。神经技术（或叫神经网络）是计算智能的重要基础和核心，也是计算智能乃至智能科学技术的一个重要研究领域。

一、人工神经网络研究的进展

1943年麦卡洛克和皮茨提出神经网络模型（称为MP模型）的概念。

20世纪60年代威德罗和霍夫提出自适应线性元件。

60年代末期至80年代中期，整个神经网络研究处于低潮。

80年代后期以来，人工神经网络研究得到复苏和发展，在模式识别、图象处理、自动控制等领域得到广泛应用。

人工神经网络下列特性是至关重要的：

①并行分布处理 神经网络具有高度的并行结构和并行实现能力，因而能够有较好的耐故障能力和较快的总体处理能力。

②非线性映射 神经网络具有固有的非线性特性，这源于其近似任意非线性映射（变换）能力。

③通过训练进行学习 神经网络是通过研究系统过去的数据记录进行训练的。一个经过适当训练的神经网络具有归纳全部数据的能力。

④适应与集成 神经网络能够适应在线运行，并能同时进行定量和定性操作。神经网络的强适应和信息融合能力使得网络过程可以同时输入大量不同的控制信号，解决输入信息间的互补和冗余问题，并实现信息集成和融合处理。

⑤硬件实现 神经网络不仅能够通过软件而且可借助软件实现并行处理。近年来，一些超大规模集成电路实现硬件已经问世，而且可从市场上购到。

二、人工神经网络的结构

1．神经元及其特性

神经网络的结构是由基本处理单元及其互连方法决定的。

如图4.2所示神经元单元由多个输入x_i，i=1，2，...，n和一个输出y组成。中间状态由输入信号的加权和表示，而输出为：

    （4.1）

公式（4.1）中，θ_j为神经元单元的偏置（阈值），w_ji为连接权系数（对于激发状态，w_ji取正值，对于抑制状态，w_ji取负值），n为输入信号数目，y_j为神经元输出，t为时间，f（＿）为输出变换函数，有时叫做激励函数，往往采用0和1二值函数或S形函数，见图4.3，这三种函数都是连续和非线性的。一种二值函数可由下式表示：

    （4.2）

如图4.3（a）所示。一种常规的S形函数见图4.3（b），可由下式表示：

    （4.3）

常用双曲正切函数（见图4.3（c））来取代常规S形函数，因为S形函数的输出均为正值，而双曲正切函数的输出值可为正或负。双曲正切函数如下式所示：

    （4.4）

2．人工神经网络的基本特性和结构

人工神经网络由神经元模型构成；这种由许多神经元组成的信息处理网络具有并行分布结构。每个神经元具有单一输出，并且能够与其它神经元连接；存在许多（多重）输出连接方法，每种连接方法对应一个连接权系数。严格地说，人工神经网络是一种具有下列特性的有向图：

①对于每个节点i存在一个状态变量x_i；

②从节点i至节点j，存在一个连接权系统数w_ij；

③对于每个节点i，存在一个阈值θ_i；

④对于每个节点i，定义一个变换函数f_i（x_j，w_ij，θ_i），i≠j；对于最一般的情况，此函数取形式。

人工神经网络的结构基本上分为两类：递归（反馈）网络和前馈网络。

①递归网络

在递归网络中，多个神经元互连以组织一个互连神经网络，如图4.4所示。有些神经元的输出被反馈至同层或前层神经元。因此，信号能够从正向和反向流通。Hopfield网络，Elmman网络和Jordan网络是递归网络有代表性的例子。递归网络又叫做反馈网络。

图4.4中，V_i表示节点的状态，x_i为节点的输入（初始）值，为收敛后的输出值，i=1，2，...，n。

②前馈网络

前馈网络具有递阶分层结构，由一些同层神经元间不存在互连的层级组成。从输入层至输出层的信号通过单向连接流通；神经元从一层连接至下一层，不存在同层神经元间的连接，如图4.5所示。图中，实线指明实际信号流通而虚线表示反向传播。前馈网络的例子有多层感知器（MLP）、学习矢量量化（LVQ）网络、小脑模型联接控制（CMAC）网络和数据处理方法（GMDH）网络等。

3．人工神经网络的主要学习算法

神经网络主要通过指导式（有师）学习算法和非指导式（无师）学习算法。此外，还存在第三种学习算法，即强化学习算法；可把它看做有师学习的一种特例。

①有师学习

有师学习算法能够根据期望的和实际的网络输出（对应于给定输入）间的差来调整神经元间连接的强度或权。因此，有师学习需要有个老师或导师来提供期望或目标输出信号。有师学习算法的例子包括Delta规则、广义Delta规则或反向传播算法以及LVQ算法等。

②无师学习

无师学习算法不需要知道期望输出。在训练过程中，只要向神经网络提供输入模式，神经网络就能够自动地适应连接权，以便按相似特征把输入模式分组聚集。无师学习算法的例子包括Kohonen算法和Carpenter-Grossberg自适应谐振理论（ART）等。

③强化学习

如前所述，强化（增强）学习是有师学习的特例。它不需要老师给出目标输出。强化学习算法采用一个“评论员”来评价与给定输入相对应的神经网络输出的优度（质量因数）。强化学习算法的一个例子是遗传算法（GA）。

三、基于神经网络的知识表示与推理

1．基于神经网络的知识表示

基于神经网络系统中知识的表示方法与传统人工智能系统中所用的方法（如产生式、框架、语义网络等）完全不同，传统人工智能系统中所用的方法是知识的显式表示，而神经网络中的知识表示是一种隐式的表示方法。在这里，知识并不像在产生式系统中那样独立地表示为每一条规则，而是将某一问题的若干知识在同一网络中表示。

1  2