《基于多核函数 SVM 的跳频序列预测.doc》由会员分享，可在线阅读，更多相关《基于多核函数 SVM 的跳频序列预测.doc（7页珍藏版）》请在三一文库上搜索。
1、精品论文基于多核函数 SVM 的跳频序列预测余永庆，姚毓凯，陈晓云（兰州大学信息科学与工程学院，兰州 730000）5摘要：具有混沌特性的跳频序列可进行短期预测。通过混沌序列的相空间重构方法得到混沌 吸引子，使序列预测问题转化为对混沌吸引子的回归问题。本文使用支持向量机（SVM） 回归方法对跳频序列进行预测，经过分析 SVM 现有核函数的特点，生成了一个基于多核组 合的新的核函数，并用基于该多核函数的 SVM 对跳频序列进行预测。通过实验分析，验证 了多核函数 SVM 在跳频序列预测中的优良特性。10关键词：支持向量机回归；多核函数；跳频序列；预测中图分类号：TP301.6Frequency
2、Hopping Prediction Based on Multi-Kernel SVMYU Yongqing, YAO Yukai, CHEN Xiaoyun15(School of Information Science and Engineering, Lanzhou University, LanZhou 730000) Abstract: Chaotic frequency hopping sequences possesse short-term predictability. Via the phase space reconstruction approach, we can
3、get chaotic attractor; It makes the problem be transformed into the regression problem of the chaotic attractors. This paper use SVR method to deal with hopping sequences. After analying characteristics of existing kernel functions, we produce a new20multi-kernel function, and use it for the predict
4、ion of frequency hopping sequences. The experiment shows the excellent performances of multi-kernel function.Keywords: support vector regression; frequency hopping; multi-kernel function; prediction0引言25在电子对抗领域，面对复杂电磁环境，制电磁权争夺异常激烈，如果有一方能够对对 方的跳频通信实施快速而准确的追踪，就可以达到瞄准式干扰的效果，取得一定的电磁优势， 这也使跳频序列的预测对抗成为当前研
5、究的热点。跳频通信不仅在军事而且在民用领域也有 广泛的应用，其核心是产生符合扩频需要的跳频序列。用于跳频通信的各种跳频码一般通过 代数方法来构造，用移位寄存器实现，如 m 序列、RS 序列、Barker 码序列、混沌变频码序30列等。研究表明使用混沌变频码作为控制器产生的跳频序列具有混沌特性1，由于混沌的宽 带、类噪声和长期难以预测等特点，现有的研究将混沌序列的短期可预测性作为重点。学者们已提出了许多混沌时间序列的非线性预测方法，基于神经网络的预测方法是其 中重要的一种2,并取得了较好的结果。但由于神经网络缺乏有力的理论依据和对推理过程 的可解释性，其泛化能力也较差,因而它的应用受到一定的局限
6、3,4。现有的跳频序列预测方35法主要分为全局预测法、局部预测法和自适应预测法5。全局预测法是将轨迹中的全部相点 作为拟合对象，找出时间序列演变规律，实现预测。这种方法概念清晰，预测精度较高，但 是计算复杂度高；局部预测法是在相空间中寻找与预测点最邻近的相点，利用邻近点的变化 规律逼近预测点的序列值，这种方法模型简单，在局部邻域中预测较精确，但是当超出相应 的区域范围，局部模型的精度便会下降，而且该方法对先验信息利用不足，模型不稳定；自40适应预测法在预测的过程中，根据当前的预测误差来调整模型中的参数，使下次预测值的误 差达到最小，这种方法预测精度高，模型适应性强，但是对算法的实时性要求较高。
7、作者简介：余永庆，（1982-），男，硕士研究生，主要研究方向：模式识别与机器学习。 通信联系人：陈晓云，（1954-），女，教授，博士生导师，主要研究方向：高性能计算，数据仓库与数据 挖掘。E-mail: - 3 -本文根据相空间重构理论，采用支持向量机回归（SVR）方法对跳频序列进行预测。在实验中我们通过分析 SVM 现有核函数的特点，合成一个新的核函数应用在跳频序列的预 测中。实验结果表明，基于多核函数的 SVM 能够很好的预测跳频序列，并且在单步预测、45多步预测和减少支持向量个数等方面均优于单核函数的 SVM。1跳频序列的相空间重构相空间重构是跳频序列混沌性识别和非线性预测的前提。相
8、空间重构的目的在于描述 跳频序列系统混沌吸引子的关联度，揭示传统方法无法展示的跳频序列变化规律。按照12,Takens 定理6, 相空间重构常采用延迟坐标法。假设观测到的跳频序列为x , x, ., xN ，50其延迟坐标映射为TFi ( ) = ( xi xi + L xi + ( n1) ) , i = 1, 2,L k , k = N (n 1)重构后的轨迹空间为（1）x1Kxk F = F1 , F2 ,L, Fk = MOM （2）1+( n1)LxN x如果找到合适的嵌入维数 n ，n 2d + 1 ， d 为动力系数的关联维数，在嵌入维空间中55可以把吸引子还原出来，即重构空间
9、Rm 中的轨迹与原动力系统保持微分同胚6。其中:n = N (m 1) ，嵌入维数 m 和时间延迟 是相空间重构中的两个重要参数。选取延迟时 间 的方法有自相关法7和互信息法8等；选取嵌入维数 m 的方法有伪邻点法9、时间窗法10、C-C 法11等。混沌时间序列的嵌入维数和时间延迟密切相关，本文采取改进的 C-C 法12来确定延迟时间 和嵌入维数 m 。602支持向量机回归支持向量机是在统计学习理论基础上发展起来的一种新的机器学习算法，根据其应用 可以分为支持向量分类器（SVC）和支持向量回归机（SVR）13，本文涉及支持向量机回归 算法的地方统一简称为支持向量机（SVM）。SVM 已在机器学
10、习、模式识别和数据挖掘等 领域得到了广泛的应用。SVM 通过核函数定义的非线性特征映射，将待分类数据映射到一65个更高维，甚至无限维的特征空间中，使数据变得线性可分，然后在新特征空间中构造(广 义)最优分类面，形成最终的决策规则。跳频序列通过相空间重构之后，变为重构空间中有规律的离散点，我们希望找到合适 的实值函数f ( x) = ( xi ) + b70来拟合这些离散训练点，使得R f = c( x, y, f )dP( x, y)最小，其中 c 为损失函数。测试值 y 与预测值 f ( x) 之间的差值，用 不敏感函数| yi f ( xi , x) | = max 0, | yi f (
11、 xi ) | （3）（4）（5）来度量。当误差不超过预先设定的参数 时，我们就认为对训练集的拟合是正确的。由于75P( x, y) 未知，将最小化 R f 问题转换为最小化E ( ) = 1 ( ) + C 1| y f ( x ) |.（6）l2li =1ii 通过 Lagrange 乘数法,式（6）转化为相应的对偶式：li*f ( x) = ( x) + b =其中i =1( * )K ( x , x) + b（7）80b = yi ( )K ( xi , x j ) j（8） * = 0, , * 0 ， 是可调节的参数，本文实验中取值为 0.01， K ( x , x) 为核函数。i
12、iiii式（7）表明核函数的选取或者构造是问题的关键因素。3多核函数对于采用 SVM 方法的分类或回归问题,决定其分类性能的关键因素是它的核函数 ,选85择了一个特定的核函数也就选择了它从样本空间到特征空间的特定映射。但是不同的核函数 有不同的特点,由它们所构成的 SVM 的性能也会有所差别。目前用于 SVM 的核函数主要分 为两大类：全局核函数和局部核函数14。全局核函数具有全局特性，允许相距很远的数据 点都可以对核函数的值有影响，泛化性能强、学习能力较弱；而局部核函数具有局部性，只 允许相距很近的数据点对核函数的值有影响，学习能力强、泛化性能较弱。90由于核函数、核参数直接影响 SVM 的
13、性能，所以如何选择和构造最优核函数与核参 数受到国内外广泛关注，目前国内外的研究工作可以概括为两个方面：针对具体问题改进或 构造新的核函数，提高分类器的推广能力；利用不同的自适应优化策略，选择合适的核函数 控制参数，提高系统的综合性能。在改进和构造新的核函数中常用的方法是利用 Mercer 核 函数的性质构造核函数15，即利用核函数集合在特定运算下封闭的性质，通过合理组合现95有的一些核函数构造出新的核函数。112212设 K1 ， K2 是两个 Mercer 核函数，则下面这些核函数也是 Mercer 核函数：1001051. K ( x, y) = a K ( x, y) + a K (
14、x, y), a , a + ；2. K ( x, y) = K1 ( x, y) K2 ( x, y) ；3. K ( x, y) = K1 ( ( x), ( y) ；4. K ( x, y) = Polynomial( K1 ( x, y) ；5. K ( x, y) = exp( K1 ( x, y) ；由于使用单核函数 SVM 有一定的局限性，它将数据映射到单个特征空间，在不同的应用场合其核函数性能表现不够良好。我们将不同特性的核函数进行结合，获得多个核函数的优点， 可以得到更好的映射性能。并且，新的多核函数对于多种或者异构的数据能够提供更佳的灵 活性。K (u, v) = ( u
15、v + 1)d + (1 ) exp( | u v |2 )由于多核函数构成的 SVM 兼顾各单核 SVM 的优点，通常优于单核 SVM 的效果。4仿真实验（9）为了验证本文所提出的多核函数 SVM 在跳频序列预测中的性能，我们选取 - 7 -110115Logistic-map 作为伪随机序列发生器，产生跳频序列，该序列的函数表达为:xn+1 = xn (1 xn ) .（10） 当 3.57, 4 时，所产生的跳频序列呈现混沌特性。图 1 为 = 0.39 时， 300 个频率点混沌序列状态图。图 1 Logistic-map 跳频序列模拟图从图 1 中可以看出频率点随着时间变化呈现伪随机
16、性，直接对频率点进行预测非常困难。我们根据相空间重构理论，采用改进的 C-C12方法确定嵌入维数 m = 3 ，延迟时间 = 2 ，重构相空间矩阵 M，得到相空间吸引子。假设预测 n 时刻的频率值120n = f (n 2, n 4) ，(11)则需要已知 n 2 , n 4 时刻的频率值和回归曲线函数,因此相空间吸引子的回归精确度是预测频率的关键。图 2 表示模拟的 300 个频率点经过相空间重构之后的吸引子呈现规则的排列。125图 2 相空间吸引子我们可以使用支持向量回归的方法很好地拟合图 2 中的相空间吸引子，达到预测的目的。针对相空间吸引子的非线性特点，我们使用核函数将其映射到更高维的
17、空间。本文实验130中，我们选取多项式核函数、径向基核函数和多核函数在同等条件下测试，以验证多核函数SVM 预测性能。本文实验中我们使用 Logistic-map 产生了 7500 个频率点，并选取前 6000 个频率点， 经过相空间重构，产生 2000 个吸引子作为训练集，然后用所得的 SVM 回归模型对其余的1500 个频率点中前 50 个进行单步预测。为了有效验证多核函数 SVM 的性能，我们采用均 方根误差135kkk（12）RMSE =( xi =1 t )2 ) / k作为评价标准。其中 k 为测试点的个数， xk 为第 k 个测试点的预测值， tk 为第 k 个测试点 的真实值。
18、图 3 是使用多核 SVM 预测的结果，预测值和真实值之间的差值通过图 4 表示。140145图 3 Logistic-map 跳频序列单步预测图图 4 Logistic-map 跳频序列单步预测误差图由图 3 可知使用组合核函数的 SVM 模型能够很好的对跳频序列进行预测，可以达到瞄准式 干扰敌方电台的效果。从图 4 中可以看出误差围绕在 0 附近起伏，没有出现大幅度的波动，精品论文预测效果较好。表 1 多核函数的均方根误差对照表步长参数均方根误差多项式核函数径向基核函数多核函数1 = 0.3250.00820.00810.00772 = 0.60.25800.29880.25693 = 0
19、.250.33270.35240.3326150155从表 1 可以看出，在相同参数条件下，通过调节多项式核函数和径向基核函数的比例系数，采用新的多核函数 SVM 后，预测均方根误差均比单一的核函数要低，其泛化能力也得 到加强。随着预测步长的增大，均方根误差也越来越大，这是由于我们所使用的跳频序列是 由 Logistic-map 序列发生器产生的伪随机码，它的混沌的特性决定了跳频序列的长期不可预 测性。同时我们也可以看到多核函数 SVM 的多步预测能力也要优于单个核函数 SVM。图 5 支持向量数量对比图160165根据 SVM 的特性可知最终决策函数只由少数的支持向量所确定,计算的复杂度取决
20、于支持向量的数目,而不是样本空间的维数,这在某种意义上避免了“维灾难”。少数支持向量 决定了最终结果,算法具有很好的“鲁棒”性和泛化的能力。从图 5 中可以看出多核函数 SVM 的支持向量个数最少，表现出了对单一核函数 SVM 的优越性。5结论本文选取多项式核函数和径向基核函数作为基本核函数，结合两个核函数的优点得到了 新的多核函数。实验证明多核函数 SVM 在跳频序列预测中预测精度高，具有很好的泛化能 力,而且多核 SVM 模型中包含的支持向量个数少。支持向量个数的减少可以有效提高预测 的效率，减少频率预测的时间，达到快速跟踪干扰的效果。参考文献 (References)1 FARMER J
21、 D, SIDOROWICH J L. Predicting chaotic time seriesJ. Physical Review Letters, 1997,59(8):845-848.1701751801851902 韩敏. 混沌时间序列预测理论与方法M. 北京：中国水利水电出版社， 2007.3 Maguire L P, Roche B, Mcginnity T M. Information Sciences, Predicting a chaotic time series using a fuzzy neural networkJ. 1998, 112: 125-136.4 张
22、恒伟，杨有龙，朱原媛. 基于贝叶斯网络的跳频序列多步预测J. 计算机应用研究， 2012，29（1）：237-240.5 党建亮，张家树. 基于支持向量机的混沌跳频码预测J. 信号处理，2005，21（4A）：122-125.6 Taken S F. Lecture Notes in Mathematics, Detecting strange attractors in turbulenceJ. 1981, 898: 366-381. 7 Kantz H, Schreiber T. Nonlinear Time Series AnalysisM. Cambridge: Cambridge U
23、niversity Press, 1997.8 Fraser A M, Swinney H L. Independent coordinates for strange attractors form time seriesJ. Phys. Rev. A. (S1094-1622), 1986, 33: 1134-1140.9 Dukeman G A. Profile-Following Entry Guidance Using Linear Quadratic Regulator Theory C AIAA Guidance, Navigation, and Control Conferen
24、ce and Exhibit, 2002, Monterey, California. AIAA-2002-4457.10 Bharadwaj S, Rao A, Mease K D, et al. Tracking Law for a New Entry Guidance Concept C AIAA Atmospheric Flight Mechanics Conference, 1997, New Orleans, LA. AIAA-97-3581.11 周战馨，高亚楠，陈家斌. 基于无轨迹卡尔曼滤波的大失准角 INS 初始对准J. 系统仿真学报，2006，18（1）：173-175.1
25、2 陆振波，蔡志明，姜可宇. 基于改进的 C-C 方法的相空间重构参数选择J. 系统仿真学报，2007，19（11）: 2527-253013 Vapnik V. The Nature of Statistical Learning TheoryM. New York: Springer Verlag, 1999.14 SM ITS GF, JORDAN EM. Improved SVM regression using mixtures of kernelsA. IEEE Proceeding ofIJCNN 02 on Neural NetworksC. 2002, 3. 2785-2790.15 杨志民，刘广利. 不确定支持向量机算法及应用M. 北京：科学出版社，2012.