《基于改进BP神经网络的个性化推荐算法研究.doc》由会员分享，可在线阅读，更多相关《基于改进BP神经网络的个性化推荐算法研究.doc（5页珍藏版）》请在三一文库上搜索。
1、计算机应用与软件Computer Applications and Software基于改进BP神经网络的个性化推荐算法研究罗 频 捷1 温 荷2 万 里31(成都东软学院实验管理中心四川 成都 611844)2(成都东软学院计算机科学与技术系四川 成都 611844)3(南京工业大学土木工程与防灾减灾重点实验 江苏 南京 211816)摘要 个性化推荐根据用户的喜好为用户推荐个性化的产品、信息或服务等，可以帮助用户在大数据时代有效的解决信息过载的问题。对个性化推荐算法进行了研究，具体研究了如何建立混合推荐模型，采用BP神经网络训练提高算法中用户相似度计算的准确性。在真实数据集上的实验结果表明
2、，基于BP神经网络的个性化推荐算法可以有效减小用户相识度计算偏差，提高用户个性化推荐的推荐质量。关键词 个性化推荐算法BP神经网络混合推荐算法中图分类号 TP391文献标识码 A DOI: Study of Personalized Recommendation Algorithm Based on BP Neural NetworkLuo Pinjie1 Wen He2 WAN Li31(Experimental Management Center, Chengdu Neusoft University, Chengdu 611844,Sichuan,China) 2(Department
3、of Computer Science and Technology, Chengdu Neusoft University, Chengdu 611844, Sichuan, China)3 (Key Laboratory of Civil Engineering and Disaster Prevention & Mitigation, Nanjing Tech University, Nanjing 211816, Jiangsu, China)Abstract In the era of big data, personalized recommendation helps users
4、 alleviate information overload problem by recommending users with the personalized products, information or services. The paper investigates personalized recommendation. In details, ahybrid recommendationmodel is proposed and BP neural network is used to improve the accuracy of user similarity. Exp
5、erimental results show that personalized recommendation algorithm based on BP Neural Network can effectively reduce the user similarity calculation deviation and improve the quality of personalized recommendation.Keywords Personalized recommendationalgorithm BP neuralnetwork The hybrid recommendatio
6、n algorithm罗频捷：基于改进BP神经网络的个性化推荐算法研究50 引言随着移动互联网技术的快速发展与成熟，现代电子商务呈现出爆炸式增长，以淘宝双十一购物节为例，2012年销售为191亿，2013年销售增长到350亿，2014年销售总额高达673亿1。如此繁荣的电子商务产业在给用户带来更多选择机会的同时，也在增加用户选择负担，普通用户很难从大量商品信息中找出适合的商品，或者从另一个侧面看，在电子商务平台中还有海量商品信息无法被普通用户获知2。因此个性化的推荐系统在未来电子商务发展中将发挥越来越重要的作用。通常推荐系统被用于两个方面目的，一是激发用户做某些事情；二是解决用户信息过载。个性
7、化的推荐系统主要通过信息检索和信息过滤，从庞大集合里选择出最能满足用户需求的物品。常见的推荐算法有协同过滤推荐算法、基于内容的推荐算法和基于知识的推荐算法等，它们在不同的应用领域表现出的效果各有不同。协调过滤推荐算法主要思想是利用已有用户群过去的行为预测当前用户的选择，即通过目标用户群体的特定信息产生推荐结果3；基于内容的推荐算法则依赖被推荐产品的特征进行推荐4；而基于知识的推荐算法则是根据已知的知识模型推演出推荐结果，这些推荐算法都各有利弊。一个良好的推荐算法是可以将用户模型、产品特征和知识模型高效地输出产品推荐序列表。因此，通过将多个推荐算法组合起来构成一个推荐单元的混合推荐系统在个性化推
8、荐中更能发挥作用。1 个性化推荐系统模型1.1 个性化混合推荐系统模型本文将个性化推荐系统模型建立在混合推荐系统基础上，将几种推荐算法整合到一个实现算法中，通过对算法进行内部调整，让多个推荐算法都发挥作用5-6，如图1所示。图1个性化混合推荐系统模型个性化混合推荐系统模型将多种推荐算法进行内部调整后整合在一个推荐单元，通过对知识源进行预处理和组合多个知识源，利用不同类型的输入，扩大了整个推荐系统的特征空间，实现推荐系统的高效性7-8。1.2 个性化推荐系统算法个性化推荐算法中用户a对产品i个性化推荐结果rec（a,i）采用Linkert量值表示，影响rec（a,i）值的因素有四个方面，分别是用
9、户之间相似度Pa,u，用户评分个数ni，用户之间评分重叠个数na,u，以及用户评分向量vu,i，rec（a,i）由协同推荐算法改进而来，表示为：(1)式1中，hwa,u为混合权重因子，hwa,u是由权重因子sga,u和hma,u组成，这两个权重因子取自于基于内容的推荐算法，均倾向于具有更多的共同评分的产品。hwa,u、sga,u和hma,u分别表示为式2-式5： (2)(3)(4)(5)由用户i的原始评分值的个数决定，反映了算法基于内容的预测可信度。swi计算公式为：(6)式6的max常量一般设置为2。式1中的用户评分向量vu,i值表示为式7：(7)式7中若用户u已给产品i评过分数，则将评分结
10、果su,i作为用户评分向量vu,i；若用户u还未曾给产品i评过分数，则采用基于内容的推荐算法计算结果cu,i作为用户评分向量vu,i。2 BP神经网络模型改进在式1中，除了用户相似度Pa,u外，其余各个参数均可由实际统计数据得出。在推荐系统中，Pa,u常常可以使用修正余弦相似性度量方法求出9。但是修正余弦相似性度量方法成立的前提条件是默认所有用户对产品的评判标准是一致的，这在实际应用中明显不合理，所以采用修正余弦相似性度量方法的计算结果与真实的Pa,u有时偏差较大，继而影响最终推荐结果rec（a,i）。因此，本文提出采用改进BP神经网络算法进行用户相似度Pa,u测算，从而提高Pa,u的准确性和
11、可靠性。2.1 BP神经网络模型BP神经网络因其具备完善的理论体系和学习算法，是目前人工神经网路中使用最为广泛的神经网络模型10。BP神经网络是一种前馈型神经网络，模仿人脑神经元对外部信号的反馈机理，建立多层次的感知模型，并采用信号的正向传播和误差的反向调节相结合的方式进行自主学习。BP神经网络中神经元节点使用S型传递函数，能够输出从0到1之间的连续信息，从而可以实现从输入层到输出层之间的任意非线性映射。BP神经网络是一种三层神经网络，分别是网络输入层、网络隐含层和网络输出层，每层是由多个并行运算的神经元构成。BP神经网络中同一层次的神经元之间不进行连接，而是将相邻两层的全部神经元相互连接，神
12、经元之间连接权值决定了BP神经网络的信息处理能力。BP神经网络拓扑结构如图2所所以。图2BP神经网络拓扑图BP神经网络算法主要分为信号正向传播和误差反向传播两个阶段。首先，输入信息从输入层输入，经过隐含层后再到输出层输出，在整个传输过程中神经元的连接权值固定不变；一般而言这样的输出结果与期望输出结果之间存在误差，此时，将误差由输出层开始逐层向前传输，在传输过程中根据误差情况动态调整各个神经元之间连接权值，直到得到实际输出与期望输出之间的最小均方差值时为止11。2.2 改进BP神经网络模型由于BP神经网络使用神经元之间的连接权值来存储信息，所以BP神经网络具有较高的容错性和鲁棒性。并且，BP神经
13、网络可以通过反馈学习不断加强神经元之间的连接强度，进而使得BP神经网络对信息具有较高的灵敏度。BP神经网络虽然优点众多，但它在实际应用中仍存在不足。BP神经网络非线性优化存在局部极小点问题，从而对网络性能带来消极影响12。同时，BP神经网络初始值的设置对算法收敛速度影响较大，BP神经网络修正权系数w(k)通常不考虑k时刻之前的梯度方向，只从k时刻误差的梯度下降方向进行权值调整，导致BP神经网络训练过程中发生震荡，致使算法收敛速度缓慢13-14。为解决BP神经网络上述问题，引入动量因子改进BP神经网络算法。BP神经网络增加动量因子后，可以使得权值的调整朝着误差曲面底部平方的方向变化，并将最后一次
14、权值变化的影响通过动量因子进行传递。引入动量因子的权值调节表达式为：(8)式8中k为训练次数，为动量因子，为学习速率，E(k)为关于权值向量(k)的梯度。当BP神经网络权值进入误差曲面底部的平坦区域时，E(k)将变得很小，即有：(9)由式9可知，引入动量因子后，可以防止(k)=0情况的出现，这将使得BP神经网络可从误差曲面局部极小值中跳出。2.3 改进BP神经网络模型训练在个性化推荐过程中，具有相同特征的用户一般拥有相似的行为习惯，用户之间的行为习惯越相似，用户相似度越高，将a用户与其他用户之间相似度记为Pa,u。在计算Pa,u时，通常进行归一化处理，把Pa,u取值范围标准化到0,1集合上。本
15、文采用改进BP神经网络进行用户相似度Pa,u测算。为了便于BP神经网络模型的初始权值设定，本文采用3层神经网络，1层为输入层，1层为隐含层，1层为输出层。输入层主要输入商品属性信息；隐含层则为用户特征值；输出层为用户相似度Pa,u。改进BP神经网络的用户相似度模型算法的训练步骤如下：（1） 设定输入层和输出层节点的数量，并初始化各层权值和阀值。（2） 将商品主要属性信息输入到BP网络中。（3） 按照BP模型算法进行网络学习。（4） 计算权值梯度和训练误差。（5） 根据式8修正各层权值与阀值。（6） 判断样本集的均方误差是否满足要求，满足则结束学习，否则继续学习，直至满足为止。（7） 使用以上训
16、练好的网络对Pa,u进行测算。3 实验与分析为了验证基于BP神经网络的个性化算法的准确性和有效性，本文在真实数据集上开展了实验仿真，并进行了分析。3.1 实验数据集本文实验数据采用了美国明尼苏达大学GroupLeans项目提供开源的Movieleans数据集进行仿真实验15。Movieleans数据集创建于1997年，是一个基于WEB的推荐算法研究数据集。目前，Movieleans数据集包含72000名用户对1万部电影的1000万条评分数据，电影的每条评分数据取值从到之间的整数值，评分数值越高代表用户对该电影的认可度越高，即表示用户越喜欢该电影。本文从Movieleans数据集中随机的选择了1
17、0000条评分数据作为实验仿真数据集，该数据集共包含了196个用户对1029部电影的评分。实验仿真数据集被划分为训练数据集和测试数据集两部分，训练数据集作为输入用于算法训练，而测试数据集则用于算法的性能测试。3.2 度量标准评价推荐系统的推荐质量的度量标准可分为三大类，分别是预测精度度量、分类精度度量和等级精度度量16-17。本文采用预测精度度量中常用的平均绝对偏差MAE（Mean Absolute Error）作为度量标准。MAE通过计算预测用户评分与实际用户评分之间的偏差度，可以非常直观地对推荐质量进行度量，便于对推荐系统结果的分析与评价18-19。MAE评价度量标准公式为：(10)式10
18、中，S表示用户评分的集合s1,s2,sn,T表示实际用户的评分集合t1,t2, tn，n表示评测用户数量。式10计算结果MAE值越小，表示推荐系统的推荐质量越高。3.3 结果与分析本文在仿真实验中使用1台惠普刀片服务器作为实验硬件环境，配置为：2个Intel至强E7处理器（主频为2.26GHz），32G的DDR3内存，1T的SATA硬盘。仿真实验软件环境采用神经网络工具箱，主要使用了newff()、train()和sim()函数，分别用于BP神经网络生成、BP神经网络训练和BP神经网络验证。由于Movieleans数据集中电影的特征由18个属性组成，所以在仿真实验时设定输入神经元个数为18个，
19、隐含层神经元也设置为18个。改进后的BP神经网络经过训练可得到该网络模型，该模型的训练方差、测试方差和测试误差均值如图3所示。图3改进后BP神经网络有效性验证图由图3可见训练后的网络模式的训练方差和测试误差方差大致在一条直线上，而且网络的测试误差均值也保持在0值附近，这说明改进后的BP神经网络模型具有较好的稳定性和有效性。本次实验对改进BP神经网络相似性和修正余弦相似性的计算精度进行比较实验，计算其各自MAE，最近邻居集合的个数S从5递增至30，间隔为5。实验结果如图4所示。图4相似性度量方法的比较图由图4可见改进BP神经网络相似性度量方法的MAE值均低于传统的修正余弦相似性度量值，因此改进B
20、P神经网络相似性度量方法所计算的相似度Pa,u较传统的修正余弦相似性度计算的相似度Pa,u与真实Pa,u较偏差要小。为验证本文提出的算法的有效性，本文将基于改进BP神经网络的个性化推荐算法与混合推荐算法和常用的协调过滤推荐算法进行比较实验，实验采用MAE度量标准，实验结果如图5所示。从图5可以看出，本文提出的算法与其他算法相比均具有最小的MAE值，由此可知，本文提出的基于改进BP神经网络的个性化推荐算法可以显著地提高推荐系统的推荐质量。图5基于改进BP神经网络的个性化推荐算法效果图4 结 语随着互联网技术的高速发展与应用，最近几年推荐系统几乎成为大型互联网平台的标准配置和功能。这反映了在当今信
21、息过载时代，如何根据用户的品味和爱好自适应地发现满足用户个性化的需求是一个重要的研究领域。本文提出的基于BP神经网络的个性化推荐算法，将协同推荐算法、基于内容的推荐算法整合到一个混合推荐算法中，并采用改进BP神经网络算法解决了该算法中存在的用户相识度计算准确度偏低的问题。通过在真实数据集上的实验表明，本文提出的算法减小了用户相识度计算偏差，显著地提高了用户个性化推荐的推荐质量。参考文献1 许海玲,吴潇,李晓东等.互联网推荐系统比较研究J.软件学报,2009,20(2):350-362.2 项亮.推荐系统实践M.北京:人民邮电出版社,2013:5-9.3 赵琴琴,鲁凯,王斌. SPCF:一种基于
22、内存的传播式协同过滤推荐算法J.计算机学报,2013,36(3):671-676.4 Adomavicius G, Tnzhilin A. Context-aware recommender systems M. Recommender Systems Handbook, US: Springer, 2011:217-253.5 龙舜,蔡跳,林佳雄.一个基于演化关联规则挖据的个性化推荐模型J.暨南大学学报,2012,33(3):264-267.6 Ghazanfar M A, Prugel-Bennett A. Building Switching Hybrid Recommender Sys
23、tem Using Machine Learning Classifiers and Collaborative FilteringJ. International Journal of Computer Science, 2010, 37(3): 272-287.7Shi Y, Karatzoglou A, Baltrunas L, et al. CLIMF: learning to maximize reciprocal rank with collaborative less-is-more filteringC/Proceedings of the sixth ACM conferen
24、ce on Recommender systems. ACM,2012:139-146.8谢娟英,高红超.基于统计相关性与K-means的区分基因子集选择算法J.软件学报,2014,(9):2051-2075.9 范波,程久军.用户间相似度协同过滤推荐算法J.计算机科学, 2012(1):23-26.10 陈玉芳. BP神经网络的算法改进及应用研究D.成都,电子科技大学,2004:8-10.11 李小艳,唐智勇.基于BP神经网络的企业知识管理评价模型J.计算机应用与软件,2014(2): 93-95.12 王越,曹长修. BP网络局部极小产生的原因分析及避免J.计算机工程,2002,28(6)
25、: 3537.13 李炯城,肖恒辉,李桂愉.神经网络中处理鞍点的LMBP改进算法J. 计算机工程, 2012, 38(23): 129-134.14 李翔,朱全银. Adaboost算法改进BP神经网络预测研究J.计算机工程与科学,2013(8):96-101.15 B.N.Miller, Albert, S.K.Lam, J.A.Konstan, and J.Riedl. MovieLens unplugged: experiences with an occasionally connected recommender system C. Proceedings of the Intern
26、ational Conference on Intelligent User Interfaces,Miami,Florida,USA,2003:263-266.16 J.L.Herlocker, J.A.Konstan, L.G.Terveen, et al. Evaluating collaborative filtering recommender systemsM.ACM Trans. Information Systems. 2004, 22(1): 5-53.17 Sarwar B, Karypis G, Konstan J, Riedl J. Item-Based collabo
27、rative filtering recommendation algorithmsC. Proceedings of the 10th International World Wide Web Conference. 2001. 285-295.18 B. Sarwar, J. Konstan, A. Borchers, et al. Using filtering agents to improve prediction quality in the groupLens research collaborative filtering systemC. Proc. ACM Conf. Co
28、mputer Supported Cooperative Work (CSCW). New York: ACM Press, 1998. 345-354.19 N. Good, J. B. Schafer, J. A. Konstan, et al. Combining collaborative filtering with personal agents for better recommendationsC. Proc. 16th National Conf. Artificial Intelligence(AAAI-99). Menlo Park, CA: AAAI/MIT Press
29、, 1999. 439-446.本文负责人联系方式罗频捷，高级工程师/硕士，主要研究领域：神经网络， 身份证号：510502198110040414，手机号：13981814425，单位：成都东软学院，通信地址：四川省成都市都江堰市青城山镇成都东软学院实验管理中心，邮编：611844，E-mail:万里，副教授/博士，主研领域：土木工程、计算机仿真，身份证号：421022198209040091，手机：13951870780，单位：南京工业大学，通信地址：江苏省南京市南京工业大学土木工程与防灾减灾重点实验，邮编：211816，E-mail: 温荷，讲师/硕士，主要研究领域：云计算，身份证号：51010519820417076X，手机：15198063263，单位：成都东软学院，通信地址：四川省成都市都江堰市青城山镇成都东软学院计算机科学与技术系，邮编：611844，E-mail:修改说明：1.将文章全部公式使用WORD公式编辑器重新进行了编辑。2.在文章首页右下角填写了基金名称和编号、第一作者职称、主研领域以及所有其他作者姓名和职称。在文章最后附上所有作者简介，内容为：姓名、职称 / 学位、主研领域、身份证号、手机、单位、通信地址、邮编、E-mail；计算机应用与软件5