《基于终身学习 RBF 神经网络的网络安全态势预测1.doc》由会员分享，可在线阅读，更多相关《基于终身学习 RBF 神经网络的网络安全态势预测1.doc（10页珍藏版）》请在三一文库上搜索。
1、精品论文基于终身学习 RBF 神经网络的网络安全态势预测1许彪，李明楚 大连理工大学软件学院，大连（116620） E-mail：摘要：网络安全态势预测对于保障网络安全运行具有重要的作用和意义。现有的预测方法 多采用批处理学习算法，无法快速构建实时的预测网络。本文采用逼近性能较好的 RBF 神 经网络(RBF Neural Network, RBFNN) 预测网络安全态势，在 RBFNN 学习阶段引入隐层神 经元重要性的概念。基于在线学习的思想，本文将神经网络的学习和调整贯穿于整个预测过 程，提出了终身学习 RBF(lifetime learning RBF,LFRBF)算法。基于 LFRBF
2、 最终建立了终身 学习 RBFNN(LFRBFNN)。实验表明，使用该网络进行态势预测，预测精度随着网络的不断 调整而不断提高。关键词：网络安全；态势预测；RBF 神经网络；终身学习算法 中图分类号：TP3931.引言网络安全态势是对网络运行状况的宏观反映，它反映了一个网络过去和当前的状况，继 而预测下一个阶段可能的状态和走势。大规模网络自身的规模大、网络环境复杂、时变性大 等特点，使得安全态势的评估和预测面临很大困难，而为了保障网络的正常运行，安全态势 的评估与预测愈发显得重要，其中预测更是了解未来网络安全状况、及时做好防御工作所不 可缺少的。目前，关于安全态势的评估技术主要是基于数据融合、
3、推理和证据分析的，国外发展比 较快，尤其是在军事方面。国内的研究主要在一级融合方面，基本上是刚刚开始，但已有很 多态势估计建模和数据处理、融合算法被提出。对于态势预测的研究相对较少，所采用的方 法主要有：模糊推理，如上海交通大学萧海东的基于模糊推理驱动的预测模型1；神经网络， 如上海交通大学任伟的基于 RBFNN 的态势预测方法2。由于大规模网络安全态势值具有非 线性时间序列的特点，而上述两种算法的共同特性恰是以很高的精度逼近非线性连续函数， 所以比较适于采用。但是两种算法均需学习过程，学习阶段与预测是分开的，训练好的模型 未必能很好的反映当前的真实状况，系统规模不易控制，所以不能很好的适应大
4、规模网络实 时性高、数据量大的特点。鉴于态势预测所面临的形势及以上方法的不足，本文利用改进的 RBF 神经网络对大规 模网络安全态势进行实时预测。RBFNN 除了具有神经网络的自组织、自学习、并行协同处 理信息、分布式存储信息等优点以外，还具有 BP 神经网络等流行神经网络所不具有的特点， 比如训练、收敛速度快，结构简单，建模精度高等。另外，大规模网络安全态势值预测可以 归结为高维空间函数逼近的问题，RBFNN 的高度非线性拟合能力正好适合解决之。针对现 存 RBFNN 在线学习算法的缺点，2004 年，新加坡南洋理工大学的 Huang Guang-bin 提出了 新的学习算法 GAP-RBF
5、3，该算法提出了隐层神经元的重要性定义及估计公式，建立了神 经元引入准则和删除准则，不仅提高了算法性能，更减少了初始参数。2005 年，Huang Guang-bin 又提出了更为一般的 GGAP-RBF 算法4。本文改进 GGAP-RBF 算法，将初始参1本课题得到国家自然科学基金(60673046)、国家自然科学基金重大项目(90412007)的资助。- 10 -数减少至一个，并将神经网络的学习与预测有机结合起来，最终提出了 LFRBF 算法。实验结果表明，利用 LFRBF 算法学习得到的 LFRBFNN 可以在影响因素众多、时变性较大、计 算量较大的环境下，准确预测网络安全态势值。2.相
6、关概念和算法2.1 RBF 神经网络RBF 神经网络是由输入层、单隐层、输出层组成的三层前馈网络，输入层节点只传递 输入信号到隐层；隐层由径向基函数构成；输出层由线性函数构成。RBFNN 最大的特点是， 其隐层径向基函数采用像高斯函数这样的函数，函数中心被定义为网络输入层到隐层连接权 向量，这使得径向基函数仅对部分输入响应，从而整个网络具有局部逼近能力。下面是 RBF 神经网络的结构图。输入层隐层输出层x1y1x2ymxn图 1. RBF 神经网络结构图Fig 1. RBFNN Structure本文所采用的 RBFNN 隐层径向基函数为高斯函数|X c k|2(1) k ( x ) = e
7、xp( 2)k其中 k = 1, 2,L, K ， ck 是隐层第 k 个神经元的中心； k 是第 k 个神经元的宽度。输入向量 n维，输出向量 m 维。2.2 扩展卡尔曼滤波器扩展卡尔曼滤波器（EKF）57是一种应用广泛的非线性系统滤波方法，它是把非线性 模型一阶近似再利用古典 Kalman 滤波方法得到的。EKF 比 LMS（最小均方）方法具有更 快的收敛速度，本文将其用在隐层神经元的参数更新上：当确定不引入新的隐层神经元时， 便根据隐层神经元前一状态来估计下一状态。具体的方法是：设第 i 个样本进入网络后的参数状态为v = w ，c， T(2)iiririr如果此样本数据不能满足成为新隐
8、层中心的条件，则：v = v + K ei i (3)T1其中 Ki = Pi 1Bi Ri + Bi Pi 1Bi (4)为 Kalman 增益矩阵；P = I K B P + q ITiz zi ii 10 z z(5)q0 为随机步长；ei 为输出误差；Ri 是测量噪声的方差矩阵；Bi 是关于参数向量 i 的梯度矩阵。2.3 在线学习算法当前神经网络学习使用较多的是批处理学习（Batch learning）算法，即用全部训练样本 一次性学习，需要训练样本一次给出，对样本选择的要求很高。相对的在线学习（Sequential learning，亦称顺序学习）算法是，训练样本顺序进入，任一时刻
9、只有一个样本用于学习。 本文采用 GGAP-RBF 算法提出的隐层神经元重要性定义和估计公式12，可以合理引入隐层 神经元，为终身学习算法奠定了理论基础，也使构建合理、高效、适度规模的 RBFNN 成为 可能。文献1把隐层神经元 k 对 RBFNN 的整体输出统计学意义上的大小，定义为隐层神经元k 的重要性，经计算得出：q |X c1|2 qE im p o r ( k ) = | w k |q x e xp( - k 2k) p ( X ) d X (6)( x , y ) 是输入样本，x Rn ；w 是第 k 个神经元与输出节点的连接权值；| |是向量的 qi iikq范数；p( X )
10、是样本数据 X 的采样密度函数，这里取均匀分布2 p( X ) =1S ( X )，样本归一化后 Xn的大小 S ( X ) = 1 ，将其代入公式(6)： n1(7)E( k ) = | w| ( ) 2 q (k ) qi m pork qq S ( X )3.LFRBFNN 的学习和创建3.1 隐层神经元引入准则新的样本作为隐层神经元引入必须满足以下两个条件：di =| Xi cir | i(8)nn| e | ( ) 2 q ( | X c|) q (9)i qi ir符号说明： cir 是欧几里德意义下距离 xi 最近的隐层神经元的中心； di 是输入样本与最 近的隐层神经元的距离；
11、ei = yi yi 是输出误差； 为重叠因子，用来决定隐层神经元的宽度； 是事先给定的学习精度； i 是可调参数。公式(8)保证了新样本距离现存的神经元足够远时，才有增加隐层神经元的可能。公式(9)则保证了新增隐层神经元的重要性大于学习精度。3.2 径向基函数宽度自适应调整为合理确定隐层神经元参数，Huang Guang-bin 等人于 2003 年提出了径向基函数宽度的 自适应调整算法6，计算出重叠因子 =( e i +e iw i r ) l n e i(10)径向基函数宽度为： K + 1= d i =( ei +ei d iwir ) ln e(11)i3.3i 的更新为减少需要人为
12、确定的参数数目，本文给出计算公式 i = max(0,1 / ei ) 。推导如下：设网络已有隐节点 K 个，当一个新样本 X i 到达时，得到新样本的重合度 di =| Xi cir | 。假设将该样本定义为新的隐节点，则有：wK +1 = ei , cK +1 = xi , K +1 = di 。由公式(1)可知K +1 ( xi ) = 1 ，其网络输出:y i = f (Xi ) =K22(12) k =1 wk exp( | Xi ck | / k ) + wK +1K +1 (Xi )在不增加新隐节点的情况下，通过误差补偿试图达到同样的学习精度 ，此时网络输出:f (X ) =K
13、w exp( | X c|2 / 2 ) + wik =1kikkK22 = ei di = wK +1di所以， f (X ) =w exp( | X c1| /) + wd(13)| f (Xi ) yi | 即| ei (1 di ) | 得 di 1 / ei(14)所以取 i = max(0,1 / ei )(15)ik =kikkK +1 i设在不增加隐节点的情况下，输出仍能达到同样的学习精度 ：3.4 的调整如果 学习精度太小，由公式(9)可知会引入太多隐层神经元；反之 太大，将使最终的 预测精度下降。本文对进入预测阶段后 的取值略作调整： = 1 ( +n )(16)n + 1
14、 0i =1 i 0 为初始学习精度； i 为第 i 次实际预测的精度；n 为预测次数。3.5 LFRBFNN 创建步骤LFRBFNN 的创建分为两个阶段，第一阶段是网络的初始化，这是为了让网络快速建立 起来；第二阶段利用初始建立的神经网络进行预测，根据预测的精度及时做出调整，引入新 样本继续学习、更新网络。算法步骤如下：选取历史 数据，给 定估计误 差 = 0 ，设神 经元个数 为 K0 , 对于输 入样本 ( x i , y i ) , i = 1, 2 ,L K 0 ：1) 计算网络输出：y =K0 w exp( | X c|2 / 2 )i k =1kikk2) 计算隐层神经元引入准则
15、下列各量ei = yi yi i = ma x ( 0 ,1 / ei )d i = | X i c ir |/计算网络输出误差/计算参数i/计算 di =( ei +eiwi r ) ln e/计算重叠因子 i3) 应用隐层神经元引入准则判断是否增加隐层神经元：n nIf d 且 | e | ( ) 2 q ( | X c|) q i i i qii r/引入第 K0 + 1 个隐层神经元，设置相应参数000wK +1 = ei；cK +1 = Xi； K +1 = diEl s e/利用 EKF 方法更新距离当前输入最近的隐层节点的参数wir，cir， ir/检查隐层神经元的删除准则是否满
16、足If E(ir ) =| wn n| ( ) 2 q ( l ) q K ，j = 1, 2,L K ，时间单位 12 小时。计算 y j/ t j 1 时刻，预测 t j 时刻态势值计算 y j 和 / t 时刻实际态势值和精度ij/将 t j 刻的数据作为新的学习样本重新计算/利用公式(17)更新If y j y j j j jw = e ； c = X ； = dK + 1 K + 1 K + 1Else/利用 EKF 更新距离当前输入最近的隐层节点参数w jr，c jr， jrIf E im p o r (ir ) 删除此隐层神经元更新 LFRBFNNEndifEndif4.实验及结
17、果分析4.1 实验参数及环境设置根据安全态势值具有非线性时间序列的特点，在用本文提出的算法进行安全态势预测 时，可选择时间序列的前 n 个时刻的数据为滑动窗口，映射为 m 个值，这 m 个值代表该窗 口之后 m 个时刻的预测值。实验选用被很多实验采用的 Honey net Project 收集的原始攻击数据8（以下简称 Honey net 数据），直接采用数据集中每 12 个小时（00：00-12：00，12：00-24：00）预警次数为态势值。具体的，选取最近 3 天 6 个测试时刻的预警次数，预测下一个 12 小时的态势值。在任一时刻，仅保留之前最近的 5 个样本，加上最新的 1 个样本，
18、始终保持 输入样本为 6 个且最新。所以神经网络输入向量 X 维数 n=6,输出向量 Y 维数 m=1。为减少计算量，令 q=1， 0 =0.01。为适合神经网络的学习，对数据做归一化处理，即将样本向量量化到相同区间。归一化公式为：x =x xminmaxx ma x x m in。x 为归一化后的值，x 为原始样本数据，x为原始样本数据中的最大值， xmin 为原始样本数据中的最小值。如图 2 所示为 Honey net 2000 年 8、9 月网络安全态势归一化值：态势值归一化分布图10.90.80.70.60.5态势值 0.40.30.20.100 6 12 18 24 30 36 42
19、 48 54 60 66 72 78 84 90 96 102 108 114 120时刻(单位：12小时)图 2.2000 年 8、9 月网络安全态势归一化值Fig 2.Network Security Situation Value训练样本数 K =103，即 8 月 2 日至 9 月 22 日的数据；测试样本选取 9 月 23 到 9 月 30的 16 组数据。仿真实验使用的计算机配置：cpu 为 Pentium Dual-Core 1.86 GHz；RAM 为2048 MB 。采用的软件平台为 Vista 系统下 MATLAB 7.6。4.2 预测结果及分析网络初始化后，对 Honey
20、 net 数据中 2009 月 23 到 9 月 30 的样本进行测试，结果如下：0.450.4实际值 预测值0.350.3态势值0.250.20.150.10.0500 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16时刻(单位：12小时)图 3.网络安全态势预测结果Fig 3.Predicting Result从图 3 可以看出，利用 LFRBFNN 对网络安全态势预测较贴近实际值，态势值的变化趋势比较明显，与实际态势变化基本吻合。表 1.预测绝对误差Table 1.Absolute Error of Predicting实际值0.377950.385830.4
21、17320.031500.062990.070870.094490.12598预测值0.353540.362990.439370.015750.074880.066140.105510.11811绝对误差0.024410.02284-0.022050.01575-0.011890.00473-0.011020.00787预测绝对误差（续表）Absolute Error of Predicting (continued table)实 际值0.086610.094490.000000.000000.031500.094490.000000.02362预 测值0.093700.087320.010
22、630.007870.027560.100790.004720.02756绝 对误差-0.007090.00717-0.01063-0.007870.00394-0.00630-0.00472-0.00394根据表 1 和续表预测态势值的绝对误差，预测结果平均绝对误差M AE = 1 n 为i in x yi = 110.01076；均方根误差RM S E =nn i = 1x i y i2 为 0.01267。用算法执行总的 cpu 时间衡量算法的计算速度，为 17.2 秒。从表 1 和续表可以发现绝对误差呈减小趋势，随着神经网络的不断学习与调整，预测精 度也不断提高，这说明终身学习对于控制
23、整个网络的规模与提高预测精度是比较有效的。从网络管理员的角度来看，通过 LFRBFNN 对网络安全态势预测，不仅能快速准确判断 下一时刻（下个 12 小时）的安全态势值，还可以较为精确的预测最近一段时期的态势走向， 这样对于网络状况快速变化的大规模网络，管理员依然可以做出有效决策。另外，整个算法只需给定学习精度的初始值 0 ，预测过程中会继续调整 ，既降低了网络对初始值的依赖程度，提高了系统抗干扰能力，又可以充分降低人为误差和对管理员的要求。5.结论本文将在线学习的思想应用到整个预测过程，形成了终身学习算法。LFRBF 学习算法 不仅对训练样本的要求低、训练速度较快，而且需要事先给定的参数只有
24、一个，最大限度降 低了人为误差和对网络管理人员的要求。该算法最终建立的 LFRBFNN 具有高度的实时性和 动态性，可以与大规模网络的实时状况保持同步。综合理论分析及实验结果可以看出， LFRBFNN 可以较好的预测网络安全态势值。参考文献1萧海东.网络安全态势评估与趋势感知的分析研究.博士,上海交通大学,2008.Xiao Hai-dong. Analysis of Security Situational awareness of Cyberspace. Doctor, Shanghai Jiao Tong University,2008.2任伟.网络安全态势评估智能化研究.硕士,上海交通
25、大学,2007.Ren Wei. The Intelligent Study of Networks Security Situation Assessment. Master, Shanghai Jiao Tong University,2007.3Huang Guang-bin, P. Saratch, Narasimhan Sundararajan. An efficient sequential learning algorithm for growing and pruning RBF (GAP-RBF) networks. IEEE TRANS. ON SYSTEM, MAN, A
26、ND CYBERNETICSPART B: CYBERNETICS, 2004, VOL. 34, NO.6:2284 -2292.4Huang Guang-bin, P. Saratch, Narasimhan Sundararajan. A generalized growing and pruning RBF (GGAP-RBF)neuralnetworkforfunctionapproximation,IEEETrans.onNeuralNetworks,2005,VOL.16,NO.1:57-67.5李彬.径向基函数神经网络的学习算法研究. 硕士,山东大学,2005.Li Bin.
27、Research on Learning Algorithms of Radial Basis Function. Master, Shandong University, 2005.6Wang Ying,Huang Guang-bin, P. Saratch, et al. Self-adjustment of neuron impact width in growing and pruning RBF (GAP-RBF) neuron networks, Information, Communications and Signal Processing, 2003 and theFourt
28、h Pacific Rim Conference on Multimedia. Proceedings of the 2003 Joint Conference of the FourthInternational Conference on,2003,vol.2: 1014- 1017.7何成伟, 韩振铎, 桑成伟 等. 基于扩展卡尔曼滤波器的 RBF 神经网络学习算法. 计算机测量与控制,2006,14(12):1682-1685.He Cheng-wei, Han Zhen-duo, Sang Cheng-wei, et al. Learning Algorithm of RBF Neu
29、ral NetWorks Based onExtended Kalman filter. Computer Measurement & Control, 2006, 14(12): 1682-1685.8Honey Net Project, Know Your Enemy: Statistics, http:/www.honeynet.org/papers/stats/, 2001.The Prediction of Network Security Situation Based onLifetime Learning RBF Neural NetworkXu Biao, Li Mingch
30、uSoftware School of Dalian University of Technology, Dalian（116620）AbstractThe prediction of network security situation is significant to guarantee network secure. The existingpredicting methods use the batch learning algorithm, and they cant construct real-time predicting network rapidly. This pape
31、r utilizes the RBF neural network (RBFNN) which has a good approximate ability to predict the security situation. In the learning phase, we introduce the concept of “Significance” for the hidden neurons. Based on the sequential learning algorithm, this paper presents the lifetime learning RBF (LFRBF
32、) algorithm where the learning and adjusting of RBFNN run through the process of predicting. At last, the lifetime learning RBFNN (LFRBFNN) is established based on LFRBF. Experiment results show that the prediction of network security situation is more precise with updating of LFRBFNN.Key words: network security; situation prediction; RBF neural network; lifetime learning algorithm作者简介：许彪(1983),男,硕士研究生,主要研究方向为网络安全态势分析及预测。李明楚 (1963 -)，男，教授，博士生导师，主要研究领域：算法与复杂性 NP-理论，信息安 全与密码学，图论，网格计算等。