《二元逻辑回归模型中的随机约束两参数极大似然估计.doc》由会员分享，可在线阅读，更多相关《二元逻辑回归模型中的随机约束两参数极大似然估计.doc（12页珍藏版）》请在三一文库上搜索。
1、Statistics and Application 统计学与应用，2020, 9(4), 515-524Published Online August 2020 in Hans. http:/www.hanspub.orR/journal/sahttps:/doi.orR/10.12677/sa.2020.94055Stochastic Restricted Two-ParameterMaximum Likelihood Estimator in Binary Logistic Regression ModelYuan Zou, Jing Chen, Rong LiSchool of Dat
2、a Science and Information Engineering, Guizhou Minzu University, Guiyang GuizhouEmail: 1336718033Received: Jul. 9th, 2020; accepted: Jul. 23rd, 2020; published: Jul. 30th, 2020AbstractTo solve the multicollinearity problem in binary logistic regression model, a new estimator, namely stochastic restr
3、icted twoparameter maximum likelihood estimator, is proposed, considering the existence of prior information of the parameters to be estimated in the model. Moreover, we obtain the necessary or sufficient conditions for the new estimator to be superior to Liu maximum likelihood estimator, Liu-Type m
4、aximum likelihood estimator, two-parameter maximum likelihood estimator, stochastic restricted maximum likelihood estimator, stochastic restricted Liu maximum likelihood estimator and stochastic restricted LiuType maximum likelihood estimator under the criterion of mean squared error matrix. The rec
5、ommend optimal values of the biasing parameters in the new estimation are discussed and given. Furthermore, based on the optimal recommended value of biasing parameters, a Monte Carlo simulation experiment is introduced to discuss the performance of this new estimator under the mean squared error.Ke
6、ywordsBinary Logistic Regression Model, Multicollinearity, Stochastic Restricted Two-Parameter Maximum Likelihood Estimator, Mean Squared Error Matrix, Mean Squared Error二元逻辑回归模型中的随机约束两参数极大似 然估计邹媛，陈景，李荣贵州民族大学，数据科学与信息工程学院，贵州贵阳Email: 1336718033收稿日期：2020年7月9日；录用日期：2020年7月23日：发布日期：2020年7月30日文章引用：邹媛，陈景，李
7、荣.二元逻辑回归模型中的随机约束两参数极大似然估计山.统计学与应用，2020, 9(4):515-524. DOI: 10.12677/sa.2020.94055邹媛等DOI: 10.12677/sa.2020.94055#统计学与应用邹媛等摘要针对二元逻辑回归模型中的复共线性问题，同时考虑模型中待估参数存在先验信息的情况，提出了一类 新估计即随机约束两参数极大似然估计。研究得到了新估计在均方误差矩阵准则下优于Liu极大似然估计, Liu-Type极大似然估计，两参数极大似然估计，随机约束极大似然估计，随机约束Liu极大似然估计和 随机约束Lhi.Type极大似然估计的充要或充分条件。探讨并给
8、出了新估计中偏参数的最优建议值。更进 一步，基于偏参数的最优建议值，通过蒙特卡罗模拟方法，分析了新估计在均方误差意义下的优良性。关键词二元逻辑回归模型，复共线性，随机约束两参数极大似然估计，均方误差矩阵，均方课差Copyright © 2020 by author（s） and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License （CC BY 4.0）. http:/creativecommons.0rg/licenses/by/4
9、.O/Open Access1.引言考虑二元逻辑回归模型中因变量”服从以心)分布。其中，伯努利参数否依赖未知参数0和解释 变量齐的取值，表达式如下：exp（x；0）l + exp（x；0）i = l,，"X是nxp的矩阵，齐是X第,列。戶=(0】,0'为pxl的未知系数矩阵。 在逻辑回归模型中，使用迭代加权最小二乘(IRLS)算法可得p的极大似然估计(MLE)：汕十七诡其中 Z = (Z”,Zj 且Z产log(切+ 胃；),W = Diagi-jri)0在逻辑回归模型中，当解释变量髙度相关时即存在复共线性问题时，MLE的方差会膨胀。为了克服 这个问题，学者们提出了很多估计来改
10、进MLE。例如，Schaefer等提出了岭极大似然估计(RE)oKHnsson 等2提出了 Lw极大似然估计(LE),表达式为：九£=(C + <) (C + di、Bmle =叫Bmle其中 C = XWX ,巧=(C + Z(C +刃)，0<d<l。Asar 3提出了 Liu-Type极大似然估计(LTE),表达式为：PLTE=(C + klf(C-dI)PMLE=FjMLE(4)其中凡=(C + H)J(C-dZ), k>0 ,-0O <d < +00 OHuang J 4提出了两参数极大似然估计(TPE),表达式为：Pipe = (C +(
11、C += Fk.dPLE(5) 其中母 _d=(C + W)J(C+kdZ),左 >0,0<d<l。考虑在实际工作中，逻辑回归模型中的未知参数向量戸有可能存在一些先验信息，这时我们可通过 等式约朿、不等式约朿、椭球约朿等来描述这些先验信息。本文将考虑带随机线性约束的情况。一般的 随机线性约朿为：h = Hp + u,E(u) = Q, Cov(u) = ¥(6)其中，H是gx(p + l)的满秩已知矩阵。方是一个gxl预设值的向量。“是一个服从均值为0,方差矩阵为 W的gxl随机向量。其中屮为已知的gxg阶正定矩阵。基于随机线性约束，Nagaraja和Wijekoo
12、n 5提出了随机约朿极大似然估计(SRE),表达式为：Psre = Pmle + CXH + HCH (A - Hp)(7)为了进一步改进SRE, Varathan和Wijekoon在文献6和7中分别提出了随机约束岭极大似然估计 (SRRE)和随机约朿Liu极大似然估计(SRLE)<,其中SRLE表达式为：也+ (C +刃)心认(8)Wu和Asar 8提出了随机约束Liu-Type极大似然估计(SRLTE),表达式为：Psrlte = (C +A/) (C-肛)直逛=FJ逛(9)我们结合SRE和TPE提出了一个新的估计即随机约朿两参数极大似然估计(SRTPE)，其表达式为： BsRTPE
13、 = (C + kl) (C + kdl'BsRE = k-dPsRE(1。)其中 k > 0,0 < d <lt>从SRTPE的表达式看出，SRTPE是一种更一般的估计，它可以退化为SRE, SRRE, SRLE： 冏 Awpe = Bsre -2) 加5=也3) SRTPE = (C+ Z) PsRE = BsRKE嘿BSRTPE = C + Z) (C + di)BsRE = PsRLE -2. 提出估计的性质接下来我们将在均方误差矩阵(MSEM)准则下，对新提出的新估计SRTPE与TPE, LTE, LE, SRE, SRLE和SRLTE进行比较。其中参
14、数0的估计p的MSEM为：MS£M() = £ (鸟一0)(2一可 =Cov()+Bias(pBias'(11)这里Covp是方差矩阵，Bias(B)是估计B的偏差。一般的，当 = MSEM(A )-MSEM() > 0时， 我们称估计A在MSEM准则下优于人°现在，我们将根据以下三个引理来证明我们所得的定理。引理如下：引理 I. (Rao 和 Toutenbiirg 9)设矩阵/和B 是mxm 阶矩阵，且/>0, B>0.则 A + B>0.引理2. (Rao 10)设M和N都为m xm阶正定矩阵，则M > N当且仅当猛(入
15、皿) < 1。引理3. (Treiikler和Toutenburg 11)令参数向虽：0的两个估计pj = Ajy ,丿= 1,2。设A = Cov(A)-Cov(2)>Oo 则MSEM(-MSEM()> 0 当且仅当“;( + 吠)"”2 * 】。其中，巧为岛 的偏差。定理1. SRTPE在MSEM准则下总是优于TPE。证明：由公式(11)可得TPE和SRTPE的MSEM如下，MSEM 'Btpe ) = Fk-dC1Fk-d + nhtnMSEM(p5RTPE) = Fk_d(C+ 刃妇Fk_a + "血 其中7W1=A-(J-1)(C + A
16、Z)_1/?o现在我们考虑它们的差，令严MSEM陽)-血M(氐韵=鼻+ "测-鼻d(Q + 日0町"Fk_d -nhm= Fk_dc-l-(C+H-lHFk_d由于：(c+hWh)" = C-1 - cr'+HC-'Hy' HCl则又因为矩阵也=(C + H)"(C +切)>0,因此=Fk_d cW(屮 + HCXH HCFk_d=MSEM (血J -(r?£)> 0证明完成。定理2.当九鼻母一/以山-迟j<l时'新估计SRTPE在MSEM准则下优于 LTE 当 且仅当 酬(9+®泌尸
17、加° 其 中 p = FjCT'F燃- FIC + H煜"Hf F, ® =(d + k)(C + H)J0。证明：由公式(11)可得LTE的MSEM为MSEM (Bzjz ) = FC-'F材 + 叫用；接下来我们考虑LTE与SRTPE的MSEM的差屯=MSEM (A zz) - SEM ()=FQ险+叫加；Fk_d (C + 丹叩町' 也-叫M=D2 + 叫 m； 因为fmc-xfm >o, 也(c+/nr町也 >0,根据引理2,当心存-d (c+R %力)F(耳c-d)" < 1时，2 > °
18、;。再根据引理3,当则(2+加2加；勺s 1时,A,>0o定理得证。定理3.当心k/C + HWh）"鼻孑（巧1时'新估计SRTPE在MSEM准则下优于 LE 当且仅当m；（D3 + 叭加；）_l 加匸 1。其中 ® = FQFd 一Fk_d（c + HW町'Fk_d ,蚀=（d- 1）（C +1）'10。证明：由公式（11）可得LE的MSEM为MSEM Ple = FdCT'Fd + 蚀加；考虑LE与SRTPE的MSEM的差A3= MSEM'Ble ）-MSEM （氐辭）=巧c-迟+加刑-见d（C+刃旷呵"也一&qu
19、ot;耐=D3 +因为 FdCxFd >0, Fk_dc+H'H >0,根据引理 2,当Fk-d （C + HHy1 Fk_d（FdC'Fd ）_1 < 1 时D3>Qo 再根据引理 3 有当桥（® + "加;F1时，A3 >0o得证。定理4. SRTPE在MSEM准则下优于SRE当且仅当巧】）<1。其中D4 =（C +,陆=Fk_d（C +刃旷怕厂Fk_d +加闹。证明：由公式（11河得SRE的MSEM为MSEM （Bs朋）=（C + 円妇町'考虑SRE与SRTPE的MSEM的差A4 = MSEM 险）-MSEM
20、 緘pe ）=（c+Hwr 一 也（c+hw 町' 鼻孑+叱；= d4-m,由于M严兀*9 +田0刃）耳*+叭卅，因为鼻d（C + RWHjJ兀-d >0，w：X>0,所以根据 引理1可知耐>0。又因为耳>0,根据引理2有当Amax（M1D；l）<l时，D4>M,即亠=9 -岡>0。 定理4得证。定理5.当心艮/C + H妇町兀巧（C + H浙町巧<1时'SRTPE在MSEM准则下 优于SRLE当且仅当祠（耳+码砧）=”1 § 1。其中，耳=巧（C + HHf Fd -（C +Fk_d。证明：由公式（11）可得SRLE的
21、MSEM为MSEM（B祖e卜巧（C + H曾诃Fd +蚀加；考虑SRLE与SRTPE的MSEM的差匕也）-MSEM（码琏）=巧（C + HHf Fd +加戶；-鼻孑（C + H妇町"也-叫祠=Ds +加§砧一加i"斗为巧(C + H0 町乜 >0 ,+Fk_d > 0 ,通过引理 2 ,当鼻/C + H叩町"也(巧(C + 才铲町'叮<1时，耳>0。再根据引理3 ,当 八§ + "0； )_1 % S 1时，亠二0。定理得证。定理 6.当血蛙耳"+F(耳d+_1j< 1 时，SRTPE
22、在 MSEM 准则下优于SRLTE当且仅当S(2 +叫鸿)_l加1 £ 1。其中 D6 = Fm(C +田铲町 Fm-Fk_d (C + 丹铲F-。证明：由公式(11)可得SRLTE的MSEM如下MSEM (九坯卜凡(C + H妇町】Fm +叫加；考虑SRLTE与SRTPE的MSEM的差Q = MSEM p)-MSEM)=凡(C+H 曾町 Fm + 叫 m； -也(C+H 曾'Hf Fk_d -叫 m； =q +- m严;因 为+>0 , d(C + HWH)*_d>0，通 过引理 2 有，耳>0 °根据引理3 ,心也(C + H计町|也爲(C +
23、 H叩町' 為门< 1时 m(D6 +m2m!, )_l Wj < 1 时，亠。定理得证。3. 偏参数*和的选取因为随机约束两参数极大似然估计与定理中的各估计在均方误差准则下的比较结果依赖参数0的偏 参数斤和d的选择。所以合适的选取偏参数k和M可以使模拟得到可行的结果。为了得到可行的上和d 的值。我们对矩阵C进行分解使得C = OAO其中，O是矩阵C的特征向量的列向量组成的矩阵， A = dbg仏,坷)，&是C的第，个特征值。我们令/(hd) = MSE佑小尹+曲)(：)叫(12)其中(c + "刃广=Qdiag际：bpp)Q，, & = O
24、9;P。可以看出函数f(k,d)是一个关于参数的二次函数。因此，为了求使f(k,d)最小的d的值，我们 固定乩并对f(k,d)求关于d的偏导得芳(*,d) _ f 2上(& +肋禺 +2疋(d l)&：站 _台仏+厅令上述等式(13)等于零，我们得到了 M的一个建议最优值玄対，结果如下:(14)同样的，为了求偏参数斤的值使得f(k,d)最小，我们对函数f(k,d)关于斤求偏导得到df(k,d) 22,2,.(/l. + 肋)(d -1)+2Uf (d -1)2 a;6k =召(入+忒令上述等式(15)等于零，即分子为0得到(16)当d固定时(16)中k的最优值依赖a,2,根据H
25、oerl和Kennard 12和Kibna 13提出的方法，我们用 它的无偏估计来替代：(17)Hoerl等14提出了使用k的调和平均值来替代k的估计，Kibna 13提出了使用k的算术平均值来替 代斤的估计，Hoerl和Kennard 12提出了使用上的几何平均值来替代斤的估计。再根据我们得出的上值 得到偏参数k的三种取值分別定义如下：Ai°iiWii )(18)(20)(19)DOI: 10.12677/sa.2020.94055521统计学与应用邹媛等DOI: 10.12677/sa.2020.94055#统计学与应用邹媛等最后我们使用Ozkale和Kairaiilar 15提
26、出的迭代方法对模拟的上和d进行取值:步骤一:根据文献Ozkale和Kagiraiilar 1习中的定理3.1计算d /51為丿/乜)imii<的值;DOI: 10.12677/sa.2020.94055#统计学与应用邹媛等步骤二：用步骤一中2的值来估计£矽，的值：步骤三：用步骤二中的&“，5, E辿的值来计算(14)式中2护的值;步骤四：如果打0,则打=2。其中0打1,4. 蒙特卡罗模拟接下来我们用蒙特卡罗模拟来验证估计MLE, LE, LTE, TP, SRE, SRLE, SRLTE和SRTPE在 MSE准则下的优良性。由文献McDonald和Galarneau 1
27、6使用下而等式生成解释变：1：(21)Xij=(p2 )V2 Zij + P，7 = 1,，心=1,P其中，叼是独立标准正态伪随机数，表示任意两个解释变量的相关性。在模拟实验中，我们取去=4,样本数W = 100, p考虑0.85, 0.9和0.95三种不同的情况。必由坷=服从伯努利二项分布1 + exp (斗而产生。对于A，,角满足S；=lo J-1此外，等式（6）中的约束矩阵我们的选取如下:1 -1 0 0、< 1 4 0 0、H =0 1-10,h =-2和W =0 1 0<0 0 1 -b<0 0 1?(22)模拟次数重复 2000 次，估计 MLE, LE, LTE
28、, TPE, SRE, SRLE,SRLTE 和 SRTPE 的 MSE 使用下面等式得到:MSE(0) =工嘗（0）©一0）2000(23)结果如下:Table 1. Estimated MSE values of the MLE, LE, LTE. TP, SRE. SRLE, SRLTE. SRTPE when p = 0.85表1.当q = 0.85时,估计 MLE, LE, LTE, TP, SRE, SRLE, SRLTE, SRTPE 的 MSE(k,d)D(M)u(25.0455,0.2641)(337.2983,0.5669)(89.9426,0.4944)NILE
29、1.12521.12521.1252LE0.67570.85440.8144LTE0.27970.87720.6700TP0.26190.51980.4508SRE0.71500.71500.7150SRLE0.44060.55000.5256SRLTE0.27550.87710.6696SRTPE0.22930.39490.3522Table 2. Estimated MSE values of the MLE, LE, LTE. TP, SRE. SRLE, SRLTE. SRTPE when p = 0.9表2.当p = 0.9时，估计MLE,LE, LTE, TP, SRE,SRLE,
30、SRLTE, SRTPE 的 MSE(k,d)（E,2屮）(M)(“)(39.0918,0.2062)(25144.4000,0.5090)(665.5201.0.4910)NILE1.71301.71301.7130LE0.87651.11871.0710LTE0.38290.91220.7731TP0.35220.65470.5877SRE0.91540.91540.9154SRLE0.48930.61340.5891SRLTE0.38140.91210.7730SRTPE0.29020.45710.4216Table 3. Estimated MSE values of the MLE,
31、 LE, LTE. TP, SRE. SRLE, SRLTE. SRTPE when p = 0.95 表 3.当 q = 0.95 时，估计 MLE, LE, LTE, TP, SRE, SRLE, SRLTE, SRTPE 的 MSE(k,d)(")他忑）(41.3281,0.1702)(4475.3980,0.4372)(259.2845,0.3898)NILE3.54903.54903.5490LE1.02491.57931.4230LTE0.39720.89980.7285TP0.39620.89920.7383SRE1.30141.30141.3014SRLE0.4224
32、0.61790.5632SRLTE0.39600.89980.7285SRTPE0.31920.53150.4690由表13可知，对建议的力和d值和给定的p为0.85, 0.9和0.95三个取值，随机约朿两参数极大 似然估计的MSE均小于其他估计的MSE,即此时随机约束两参数极大似然估计在均方误差意义下优于 其他各估计。同时，由表13可知，对给定的p为0.85, 0.9和0.95,均有在k取总时SRTPE, SRLTE, SRLE, LTE, LE和TPE的MSE小于A取&"和&"时的MSE,即此时优于和&.“。由表13还 可以看岀，对建议的k和d值
33、，随机约束两参数极大似然估计的MSE随着q的增大而增大，即解释变量 之间的相关性增加，则新估计的MSE值会增加。5 总结本文中，我们在二元逻辑回归模型中提出了一个新的估计即随机约束两参数极大似然估计。为了研 究所提岀估计的性质，理论上，我们在MSEM准则下对Liu极大似然估计，Liu-Type极大似然估计，两 参数极大似然估计，随机约朿极大似然估计，随机约朿Le极大似然估计，随机约朿Liu-Type极大似然 估计和随机约朿两参数极大似然估计进行了比较，并得出了在MSEM准则下随机约束两参数极大似然估 计优于SRLTE, SRLE, SRE, LTE, LE和TPE的充要或充分条件。实验上，我们
34、用了蒙特卡罗模拟实 验来比较了几个估计的优良性，验证了对建议的上和d值和给定的°为0.85, 0.9和0.95情况下，新估 计在 MSE 准则下优于 SRLTE, SRLE, SRE, LTE, LE 和 TPE。参考文献1 Schaefer. R.L. Roi. L.D. and Wolfe. RA (1984) A Ridge Logistic Estimator. Communications in StatisticsTheoiy and Methods, 13. 99-113. https: doi.org 10.1080.0361092S40SS286642 Mansso
35、n, K Kibna, B.M.G. and Shukur. G. (2012) On Liu Estimators for the Logit Regression Model. Economic Modelling. 29, 1483-1488. ht(ps:.Vdoi.or.g,U0一 1016.".econmod.2011.11.0153 Asar. Y. (2017) Some New Methods to Solve Multicollinearity in Logistic Regression. Communications in Statistics_ imtila
36、tion and Computation. 46. 2576-2586. https:"doi.orQ10.1080/03610918.2015-10539254 Huang, J. (2012) A Simulation Research on a Biased Estimator in Logistic Regression Model. Communications in Computer and Information Science. 316, 389-395. httpsMdororaiO. 1007/978-3-642-34289-9 435 Nagarajah. V.
37、 and Wijekoon. P. (2015) Stochastic Restricted Maximum Likelihood Estimator in Logistic Regression Model. Open Journal of Statistics. 5, 837-851. ht(ps:A'doi.oig/104236./ois.2015.570826 Varathan、N. and Wijekoon, P. (2016) Ridge Estimator in Logistic Regression under Stochastic Linear Restriction
38、s.British Joumal of Mathematics & Computer Science. 15. 1-14. https: "doi. org/10.9734/B JMCS/2016/2458 57 Varathan. N. and Wijekoon. P. (2016) Logistic Liu Estimator under Stochastic Linear Restrictions. Statistical Papers, 60, 945-962. https . doi.o诃 10007, s00362-016-0856-68 Wu, J. and A
39、sar, Y. (2017) On the Stochastic Restricted Liu-Type Maximum Likelihood Estimator in Logistic Regression. Connmmications, 68. 643-653.9 Rao. C.R. and Toutenburg, H. (1995) Linear Models: Least Squares and Alternatives. 2nd Edition, Springer, New York. https:"doiaQ10.1007, 97S-l4899-0024-l10 Rao
40、. C.R. Toutenburg. H. Shalabh and Heumann. C. (200S) Linear Models and Generalizations. Springer. Berlin.11 Trenkler, G. and Toutenburg, H. (1990) Mean Square Error Matrix Comparisons between Biased Estimators: An Overview of Recent Results. Statistical Papers. 31.165-179. https:山'doi.org/10.100
41、7/'BF0292468712 Hoerl, A.E. and Kennard, R.W. (1970) Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technome- tiics, 12, 55-67. https:，doi.or田10.1080,00401706970.1048863413 Kibria, B.M.G. (2003) Performance of Some New Ridge Regression Estimators. Communication in Statistics_ im
42、ulation and Computation. 32, 419-435. https:，/doi.org，10.1 OS 1SAC-12001749914 Hoerl, A.E., Kannard, R.W. and Baldwin, K.F. (1975) Ridge Regression: Some Simulations. Communications in StatisticsTheory and Methods, 4. 105-123. https:/doi.org/10.108Q/0361092750882723215 Ozkale, M R. and Kaijiranlar,
43、S. (2007) The Restricted and Unrestricted Two-Parameter Estimators. Communications in StatisticsTheoiy and Methods, 36, 2707-2725. https:，Tdoi-org/10.1080/0361092070138687716 McDonald. G.C. and Galameau. D.I. (1975) A Monte Carlo Evaluation of Some Ridge-Type Estimators. Joumal of the Amehcan Statistical Association, 70. 407-416. https:,"dororg/10.1080/01621459.1975.10479882DOI: 10.12677/sa.2020.94055523统计学与应用