前沿科技创业的驱动者

神经网络从被人忽悠到忽悠人(六)

 

神经网络从被人忽悠到忽悠人(六)


投稿邮箱:『editor@datartisan.com』
文章作者:『向日葵』

引子

在求解神经网络权值过程中,有一个点是经常被人们遗忘的,神经网络的误差是收敛,也就是说渐渐的稳定到一个值里,这种过程类似于热力原理。符合一定的自然规律,是符合规律一个过程。如果把这个特性和神经网络结合,会产生什么效果呢?

Hopfield网络

对于求权值的方法,之前的神经网络大部分采用的都是误差方式。这种方式比较直观明了,但求解的过程没有那么的方便。1982年,Hopfield才用了能量函数,开创了一种新的神经网络的思路。
如果两个热力学系统中的每一个都与第三个热力学系统处于热平衡(温度相同),则它们彼此也必定处于热平衡.
根据热力学的原理,Hopfield总结了一类网络。
Hopfield网络:一类反馈动力学系统,从任意初始状态开始,网络经过有限次状态更新后,都将到达该稳定状态。

从图中可以看到,所有状态的转移都会,转移到两个状态 010和111下,这两个状态我们称为稳定状态。
以前我们把样本拿过来训练,但在能量神经网络,样本的结果可以把它当作一种稳定状态,通过稳定状态,反向的来求出权重。
求权重的主要方法是内积法。

这种以样本作为稳定结果的网络,就可以认为他有一定的记忆功能了。
例如:
稳定的结果有:

如果你的输入出现:

根据能量网络,他会自己恢复到稳定的状态,就是

像这样能量网络具有恢复的功能,也就是能有记忆的特性了。

Boltzmann机

20世纪80年代,Ackley,Hinton等人受到了Hopfield的启发,以模拟退火思想为基础,提出了Boltzmann机。
将Boltzmann机视为一动力系统,可以证明能量函数的极小值对应系统的稳定平衡点,由于能量函数有界,当网络温度T以某种方式逐渐下降到某一特定值时,系统必趋于稳定状态。
逐渐的降温过程,系统会达到稳定的状态。Boltzmann机是学习过程中是机器学习很重要的一种方式,是深度学习里基础。

受限Boltzmann机

2006年,Hinton等人提出了一种深度信念网络(Deep Belief Nets),这个算法成为了其后至今深度学习算法的主要框架,也就是我们现在所说的深度学习。
当前RBM 为基本构成模块的 DBN 模型被认为是最有效的深度学习算法之一。
受限Boltzmann网络结构具有这样的特点:可视层的每一个神经元与隐藏层的每一个神经元相互连接;可视层神经元之间,隐藏层神经元之间没有连线,这为我们后面的训练提供了一个很好的假设性条件:同一层的各神经元之间是相互独立的。
受限Boltzmann网络,主要的推导方式用到了条件概率,Hinton提出的快速计算方法,即对比散度,也比较流行。
受限Boltzmann网络在应用上,基本上都是一种编码和解码的过程。编码过程就是利用已经知道得输入输出确定权重,解码就是放过来求值。
编码过程:

解码过程:

最后

人工智能,只是处在了很早的阶段,机器能够更好地理解这个世界,人们能够更多的跟机器互动,还需要一个比较长的过程。互联网的一个过程是:文本,图片,视频。现在的搜索引擎,只解决了文本的搜索,而这样过程除了计算机技术的发展,还有一个很重要的就是我们祖辈留下来的语言,又特定的词汇,能够表达万千的世界。人工智能的发展一个大的方向是图片的识别,如何让图片自己说话,是一个很了不起的过程。而如今的技术,仅仅只能够认出一只猫,但是这是很好的开端了。
神经网络的发展日新月异,人工智能是未来一个很重要的方向,我们紧跟时代的步伐。


 

分享到:

相关推荐

  • QQ截图20160918112903

    两院院士严东生在沪逝世 享年98岁

    中国共产党优秀党员,九三学社社员,我国著名材料科学家、战略科学家、教育家,中国共产党第十一届中央纪律检查委员会委员,第十二届中央委员会委员,第六、七届全国政协常委,第六、七届上海市政协副主席,中国科学院原党组书记、副院长,中国科学院、中国工程院资深院士,中国科学院特邀顾问,中国...

  • QQ截图20160930102522

    中国天眼究竟牛在什么地方? 为什么全世界都佩服

    中国天眼的建成开眼是一件全世界都在关注的大事。中国天眼望远镜是全世界最大口径的望远镜,但是这个望远镜可不止是大而已,中国天眼上还运用了多种科技,帮助我们倾听宇宙深处声音、探索宇宙奥秘。 一问:射电望远镜是不是口径越大越好? “500米口径球面射电望远镜,可不是肉眼观测的普通望远镜,是...

  • 1473063343626113

    鼓励!鼓励!狗狗只能听懂赞美的话

      内容摘要 主人都会觉得自己的宠物聪明,能理解自己的话和情绪。最新研究发现表明,人与狗之间交流时,词汇和语气很重要。研究还指出,狗可以识别大约1000多个词汇。   下次再表扬宠物时,使用一些它们懂得的积极词汇或是词组,再用表扬的语气对宠物说。最新研究发现...

  • 38f429ab0d917a2.jpg_600x600

    今晚将出现罕见“黑月亮”:末日论者认为是世界末日预兆

    据“今日俄罗斯”新闻网9月27日报道,预计9月30日将出现罕见的“黑月亮”,这个消息让一些末世论者颇为关注,他们认为这将是“世界末日的预兆”。报道说,此次黑月亮将于9月30日出现在西半球。9月1日太平洋火山带发生了日食,30日又将出现黑月亮,接连出现这种“异象”,让末日论者担心可能会发生大灾难。 不...

  • 60e7443d25b7fabb27ec666f65c4db38

    人能不能活过150岁?美国两位科学家打了个赌

    Steven Austad(左)打赌认为人能活到150岁;Jay Olshansky则持相反观点。 美国两名研究人员在2001年曾打赌是否有人寿命可以达到150岁,16年来,科学家曾经押下的赌注已经增加到600美元。如果这些资金以当前的兑换率增长,那么赢家的后代在2150年将可得到数亿美元。 这场友好的打赌从2000年开始,当...

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

SME 前沿科技创业的驱动者