《神经网络算法.ppt》由会员分享，可在线阅读，更多相关《神经网络算法.ppt（19页珍藏版）》请在三一文库上搜索。
1、神经网络算法,丁一杰 石嫣然 丁志浩 贾斐然,算法发展历史,1943年，心理学家McCulloch和数学家Pitts参考了生物神经元的结构，发表了抽象的神经元模型MP.1949年，心理学家Hebb提出了Hebb学习率，认为人脑神经细胞的突触（也就是连接）上的强度上可以变化的。1958年，计算科学家Rosenblatt提出了由两层神经元组成的神经网络。1969年， Minsky出版了一本叫Perceptron的书，里面用详细的数学证明了感知器的弱点，尤其是感知器对XOR（异或）这样的简单分类任务都无法解决。1986年，Rumelhar和Hinton等人提出了反向传播（Backpropagatio
2、n，BP）算法，解决了两层神经网络所需要的复杂计算量问题。2006年，Hinton在Science和相关期刊上发表了论文，首次提出了“深度信念网络”的概念。,MP模型,权重是已知的，不能进行学习，只能处理简单的线性问题。,两层神经元网络,两层神经元网络，又称感受器，起初得到热捧。,感知器的作用和缺陷,感受器可以方便地处理线性问题，但是无法有效解决与或非问题,BP神经网络,虽然增加层数能够解决与或非问题，但是计算量是一个巨大的问题。向后计算法（BP）的出现，解决了计算量的问题，使神经网络算法得到了推广。,BP模型对数据的处理结果,但是BP模型计算时间太长受到了诟病，很快被支持向量机取代。,多层神
3、经网络,首先，通过预训练，得到接近最优解的权重，这样可以节约计算的时间。再者，多层网络学习可以比一般网络容纳更多的参数，结果可以更精确。,神经网络BP模型算法原理,信号处理激活函数数据训练向后传递法,信号处理,归一化处理1.最大-最小标准化2. Z-score标准化,通常是为了把数据限制在0，1范围内，而且也是为了减小奇异数据对整体的影响。,激活函数,激活函数就是人工神经元处理输入信息并信息传递的机制。选择使用非线性函数，可以更适用特定的学习任务。,数据训练,向后算法通过输出信号与真实值的差异，修改权重来减小误差。其中利用的梯度下降法，是利用每一个神经元的激活函数来确定输入方向上的权重，以找到
4、合适的权重该变量。,实例讲解,基于论文“an extensible neural network potential with DFT accuracy at force field computational cost”原理 对水分子的分析,数据处理,输入的数据是不同状态下分子中各原子的坐标，以此得到表示不同原子环境的向量Gi。f函数是一类终止函数，减小半径过大异常的数据对结果的而影响，以及舍去半径超过Rc，默认不成共价键的数据。,激活函数,半径对称函数，其中是改变高斯分布宽度的参数，Rs是分布的位移参数。,角度对称函数，是改变高度的参数，s是角度位移的参数。,Model,神经网络算法训练之
5、后得到的数据与计算化学中算法（DFT，泛函理论）之间的拟合程度。,意义,可以看出神经网络算法在计算化学中有着重要的前景，它有效地弥补如今DFT（泛函理论），SE（半经验算法）的不足。此外，已有化学家想通过深度学习来扩大计算机算法在化学中的应用，比如有研究人员多层神经网络实现对有机全合成的预测。未来，神经网络会在化学领域有更大的应用。 我们这次工作的努力是为了探究神经网络算法，复现论文中的算法在水分子能量计算的应用。只是可惜受限于水平，无法复制论文中用蒙特卡洛法改变分子模型得到随机数据的程序，只能用50组数据象征性地训练一下。,Reference:,1.数据归一化处理https:/ an extensible neural network potential with DFT accuracy at force field computational cost Chemical Science, 2017, 8(4):3192-3203.,神经网络浅讲：从神经元到深度学习,神经网络-梯度下降,