《LSTM详解-公式推导.ppt》由会员分享，可在线阅读，更多相关《LSTM详解-公式推导.ppt（11页珍藏版）》请在三一文库上搜索。
1、有问题请联系我 化简表示 ANN 处理时间序列 RNN 输出样本(n*7维向量)t1=(x11,x12,y13,x1n) t7=(x71,x72,x73,x7n) 输出样本(m*7维向量)t1=(y11,y12,y13,y1m) t7=(y71,y72,y73,y7m) 每层网络内的每个神经元扩展为 输入样本(n维向量) = (x1,x2,x3,xn) 输出样本(m维向量) = (y1,y2,y3,ym) 1层神经元 1个神经元 LSTM ANN-RNN-LSTM wicwhc =act tanh X + X =sct Cell 化简取每个Block内 仅有1个cell 时间序列中第t个状态的
2、输入的第i个分量特征: xit sct-1 wil whl wcl Sigmoid=alt =blt 输入门l 忘记门 wi wh wc Sigmoidat=bt= sct-1 sct-1 wi wh wc Sigmoid=at =bt 输出门 tanh X =bct block LSTM内Block的结构 上一个时序(t-1)中本层网络的第h个block的输出: bht-1 （1） （2） （3） （4） （5） LSTM内Block的结构(正向传播公式) LSTM内Block的结构(反向传播公式) （1） （2） （3） （4） （5）（6） LSTM内Block的结构(反向传播公式-推导
3、-bct的梯度) （1） 第t时间状态的i+1层(下一层) 第t时间状态的i层(本层)的某个block第t+1时间状态的i层(本层) =第t时间状态的下一层网络中 每个block的act,alt,at,awt的梯度*连线的系数w 之和 =第t+1时间状态的本层网络中 每个block的act,alt,at,awt的梯度*连线的系数w 之和 LSTM内Block的结构(反向传播公式-推导-awt的梯度) awt的梯度=Loss/awt= Loss/bct* bct/ awt bct/ awt= (tanh(sct)*sigmod(awt)/awt=tanh(sct)*dsigmod(awt) 取C
4、=1 LSTM内Block的结构(反向传播公式-推导-sct的梯度) 取C=1 第t时间状态的本层的该block 第t+1时间状态的本层的该block Sct会影响 第t时间状态的awt， 第t时间状态的bct， 第t+1时间状态的alt， 第t+1时间状态的at， 第t+1时间状态的sct = L/awt*awt/sct + L/bct*bct/sct + L/alt+1*alt+1/sct + L/at+1*at+1/sct + L/sct+1*sct+1/sct 1） L/awt*awt/sct = L/awt* (wcw*sct+.)/sct= L/awt* wcw 2） L/bct*
5、bct/sct = L/bct*(bwt*tanh(sct)/sct= L/bct*bwt*dtanh(sct) 3） L/alt+1*alt+1/sct = L/alt+1* (sct*wcl+.)/sct= L/alt+1* wcl 4） L/at+1*at+1/sct = L/at+1* (sct*wc+.)/sct= L/at+1* wc 5） L/sct+1*sct+1/sct = L/sct+1* (sct*bt+1 +.)/sct= L/sct+1 * bt+1 LSTM内Block的结构(反向传播公式-推导-alt的梯度) 取C=1 alt的梯度=Loss/alt= Loss/
6、sct* sct/ alt sct/ alt= (tanh(act)*sigmod(alt)+sct-1 * bt)/alt =(tanh(act)*sigmod(alt)/alt =tanh(act)*dsigmod(alt) LSTM内Block的结构(反向传播公式-推导-at的梯度) 取C=1 at的梯度=Loss/at= Loss/sct* sct/ at sct/ at= (sct-1*sigmod(at)+blt*tanh(act)/at = (sct-1*sigmod(at)/at =sct-1 * dsigmod(at) LSTM内Block的结构(反向传播公式-推导-act的梯度) 取C=1 act的梯度=Loss/act= Loss/sct* sct/ act sct/ act= (blt*tanh(act)+sct-1*bt)/act =(blt*tanh(act)/act =blt*dtanh(act)