我爱帮助网--QQ交流群号

Nas交流与矿渣群(unraid 群晖 猫盘 蜗牛等):372167400         物联网/智能家居群:518812757             帮助教程:手册大全

软件使用与建站群:1057308983      虚拟化交流群:13448651

关于神经网络和几种常见的神经网络

2020-03-04 08:00:00
转贴:
CSDN
1172

人工神经网络(Artificial Neural Network,ANN)简称神经网络(NN),是基于生物学中神经网络的基本原理,在理解和抽象了人脑结构和外界刺激响应机制后,以网络拓扑知识为理论基础,模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。


神经网络技术起源-感知机

神经网络技术起源于上世纪五、六十年代,当时叫感知机(perceptron),拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层,在输出层得到分类结果。早期感知机的推动者是Rosenblatt,当时感知器传输函数是用线拉动变阻器改变电阻的方法机械实现的。但是,Rosenblatt的单层感知机有个严重的问题,即它对稍微复杂一些的函数都无能为力,例如最为典型的异或操作。

多层感知机
随着数学的发展,到上世纪八十年代Rumelhart、Williams、Hinton、LeCun等人发明了多层感知机(multilayer perceptron),多层感知机有多个隐含层,可以摆脱早期离散传输函数的束缚,使用sigmoid或tanh等连续函数模拟神经元对激励的响应,在训练算法上则使用Werbos发明的反向传播BP算法。这就是我们现在所说的神经网络NN。
多层感知机解决了之前无法模拟异或逻辑的缺陷,同时更多的层数也让网络更能够刻画现实世界中的复杂情形。神经网络的层数直接决定了它对现实的刻画能力-利用每层更少的神经元拟合更加复杂的函数。
随着神经网络层数的加深,优化函数越来越容易陷入局部最优解,并且这个陷阱越来越偏离真正的全局最优。利用有限数据训练的深层网络,性能不如较浅层网络。同时,另一个不可忽略的问题是随着网络层数增加,梯度消失现象更加严重。例如使用sigmoid作为神经元的输入输出函数。对于幅度为1的信号,在BP反向传播梯度时,每传递一层,梯度衰减为原来的0.25.层数一多,梯度指数衰减后低层基本上接受不到有效的训练信号。

深度神经网络DNN
2006年,Hinton利用预训练方法缓解了局部最优解问题,将隐含层推动到了7层,神经网络真正意义上有了深度。深度没有固定定义,在语音识别中4层神经网络就被认为是较深的,而在图像识别中20层以上的网络屡见不鲜。为了克服梯度消失,ReLU、maxout等传输函数代替了sigmoid,形成了如今DNN的基本形式。单从结构上来说全连接的DNN和多层感知机是没有任何区别的。
全连接DNN的结构里下层神经元和所有的上层神经元都能够形成连接,带来的潜在问题是参数数量的膨胀。

卷积神经网络CNN
对于CNN来说,并不是所有上下层神经元都能直接相连,而是通过卷积作为中介,同一个卷积核在所有图像内是共享的,图像通过卷积操作后仍然保留原先的位置关系。

循环神经网络RNN
全连接的DNN还存在另一个问题,无法对时间序列上的变化进行建模。然而,样本出现的时间顺序对于自然语言处理、语音识别、手写体识别等应用非常重要。为了适应这种需求,就出现了循环神经网络。 
在普通的全连接网络或CNN中,每层神经元的信号只能向上一层传播,样本的处理在各个时刻独立,因此又被称为前向神经网络(Feed-forward Neural Network)。而在RNN中,神经元的输出可以在下一个时间戳直接作用到自身。

长短时间记忆单元LSTM
RNN可以看成一个在时间上传递的神经网络,它的深度是时间的长度。梯度消失现象又在时间轴上出现了。对于t时刻来说,它产生的梯度在时间轴上向历史传播几层之后就消失了,根本就无法影响太遥远的过去。因此,这种影响也就只能维持若干个时间戳。
为了解决时间上的梯度消失,机器学习领域发展出了长短时记忆单元LSTM,通过门的开关实现时间上记忆功能,并防止梯度消失。

其他结构
RNN既然能够继承历史信息,是不是也能吸收点未来的信息呢?因为在序列信号分析中,如果能预知未来,对识别一定也是有所帮助的。因此就有了双向RNN、双向LSTM,同时利用历史和未来的信息。 
事实上,不论是哪种网络,他们在实际应用中常常混合着使用,比如CNN和RNN在上层输出之前往往会接上全连接层,很难说某个网络到底属于哪个类别。

0
发表评论
评论通过审核后显示。
文章分类
联系我们
联系人: 王先生
电话: 13928102596
Email: 18449932@qq.com
QQ: 18449932
微信: 13928102596
地址: 广东省中山市西苑广场