《第9章含定性变量的回归模型.ppt》由会员分享，可在线阅读，更多相关《第9章含定性变量的回归模型.ppt（76页珍藏版）》请在三一文库上搜索。
1、第9章 含定性变量的回归模型,9.1 自变量中含有定性变量的回归模型 9.2 自变量定性变量回归模型的应用 9.3 因变量是定性变量的回归模型 9.4 Logistic(逻辑斯蒂)回归 9.5 多类别Logistic回归 9.6 因变量是顺序变量的回归 9.7 本章小结与评注,9.1 自变量中含有定性变量的回归模型,一、简单情况,首先讨论定性变量只取两类可能值的情况，例如研究粮食产量问题，y为粮食产量，x为施肥量，另外再考虑气候问题，分为正常年份和干旱年份两种情况，对这个问题的数量化方法是引入一个0-1型变量D，令： Di=1 表示正常年份 Di=0 表示干旱年份,9.1 自变量中含有定性变量
2、的回归模型,粮食产量的回归模型为： yi=0+1xi+2Di+i 其中干旱年份的粮食平均产量为： E(yi|Di=0)=0+1xi 正常年份的粮食平均产量为： E(yi|Di=1)=(0+2)+1xi,9.1 自变量中含有定性变量的回归模型,例9.1 某经济学家想调查文化程度对家庭储蓄的影响，在一个中等收入的样本框中，随机调查了13户高学历家庭与14户中低学历的家庭， 因变量y为上一年家庭储蓄增加额， 自变量x1为上一年家庭总收入， 自变量x2表示家庭学历， 高学历家庭x2=1,低学历家庭x2=0， 调查数据见表9.1：,9.1 自变量中含有定性变量的回归模型,表9.1,9.1 自变量中含有定
3、性变量的回归模型,建立y对x1、x2的线性回归,9.1 自变量中含有定性变量的回归模型,两个自变量x1与x2的系数都是显著的，判定系数R2=0.879，回归方程为： =-7976+3826x1-3700x2,9.1 自变量中含有定性变量的回归模型,这个结果表明，中等收入的家庭每增加1万元收入，平均拿出3826元作为储蓄。高学历家庭每年的平均储蓄额少于低学历的家庭，平均少3700元。 如果不引入家庭学历定性变量x2，仅用y对家庭年收入x1做一元线性回归，得判定系数R2=0.618，拟合效果不好。,9.1 自变量中含有定性变量的回归模型,家庭年收入x1是连续型变量，它对回归的贡献也是不可缺少的。如
4、果不考虑家庭年收入这个自变量，13户高学历家庭的平均年储蓄增加额为3009.31元，14户低学历家庭的平均年储蓄增加额为5059.36元，这样会认为高学历家庭每年的储蓄额比低学历的家庭平均少5059.36-3009.31=2050.05元，而用回归法算出的数值是3824元，两者并不相等。,9.1 自变量中含有定性变量的回归模型,用回归法算出的高学历家庭每年的平均储蓄额比低学历的家庭平均少3824元，这是在假设两者的家庭年收入相等的基础上的储蓄差值，或者说是消除了家庭年收入的影响后的差值，因而反映了两者储蓄额的真实差异。而直接由样本计算的差值2050.05元是包含有家庭年收入影响在内的差值，是虚
5、假的差值。所调查的13户高学历家庭的平均年收入额为3.8385万元，14户低学历家庭的平均年收入额为3.4071万元，两者并不相等。,9.1 自变量中含有定性变量的回归模型,二、复杂情况,某些场合定性自变量可能取多类值，例如某商厦策划营销方案，需要考虑销售额的季节性影响，季节因素分为春、夏、秋、冬4种情况。为了用定性自变量反应春、夏、秋、冬四季，我们初步设想引入如下4个0-1自变量：,9.1 自变量中含有定性变量的回归模型,可是这样做却产生了一个新的问题，即x1+x2+x3+x4=1，构成完全多重共线性。 解决这个问题的方法很简单，我们只需去掉一个0-1型变量，只保留3个0-1型自变量即可。例
6、如去掉x4，只保留x1、x2、x3。 对一般情况，一个定性变量有k类可能的取值时，需要引入k-1个0-1型自变量。当k=2时，只需要引入一个0-1型自变量即可。,9.1 自变量中含有定性变量的回归模型,三、单因素方差分析,设yij是正态总体N(j，2)，的样本 j=1,c,i=1,2,nj 原假设为：H0: 1=2=c 记ij= yij-j,则有ijN(0，2)，进而有 yij=j+ij ，i=1,2,nj，j=1,c， （9.39） 记，aj=j-，则（9.39）式改写为： yij=+ai+ij ，i=1,2,ni，j=1,c， （9.39）,9.1 自变量中含有定性变量的回归模型,引入0-
7、1型自变量xij,将（9.40）式表示为 yij=+a1xi1+a2xi2+acxic +ij,其中,9.1 自变量中含有定性变量的回归模型,其中还存在一个问题，就是c个自变量x1,x2, ，xc之和恒等于1，存在完全的复共线性。为此，剔除xc，建立回归模型 yij=+a1xi1+a2xi2+ac-1xic-1 +ij i=1,2,nj，j=1,c， 回归方程显著性检验的原假设为： H0: a1=a2=ac-1=0,9.1 自变量中含有定性变量的回归模型,由aj=j-=j- 可知,H0: a1=a2=ac-1=0 与,H0: 1=2=c是等价的,线性回归的F检验与单因素方差分析的F检验是等价的
8、。,9.2 自变量定性变量回归模型的应用,一、分段回归,例9.2 表9.3给出某工厂生产批量xi与单位成本yi(美元)的数据。试用分段回归建立回归模型。,9.2 自变量定性变量回归模型的应用,图9.1 单位成本对批量散点图,9.2 自变量定性变量回归模型的应用,由图9.1可看出数据在生产批量xp=500时发生较大变化，即批量大于500时成本明显下降。我们考虑由两段构成的分段线性回归,这可以通过引入一个0-1型虚拟自变量实现。假定回归直线的斜率在xp=500处改变，建立回归模型 yi=0+1xi+2(xi-5)Di+i,来拟合，其中,9.2 自变量定性变量回归模型的应用,引入两个新的自变量,xi
9、1=xi xi2=(xi-5)Di,这样回归模型转化为标准形式的二元线性回归模型： yi=0+1xi1+2xi2+i (9.3) （9.3）式可以分解为两个线性回归方程： 当x1500时，E(y)=0+1x1 当x1500时，E(y)=(0-5002)+(1+2)x1,9.2 自变量定性变量回归模型的应用,9.2 自变量定性变量回归模型的应用,用普通最小二乘法拟合模型(9.3)式得回归方程为： =5.895-0.00395x1-0.00389x2 利用此模型可说明生产批量小于500时，每增加1个单位批量，单位成本降低0.00395美元；当生产批量大于500时，每增加1个单位批量，估计单位成本降
10、低0.00395+0.00389=0.00784(美元)。,9.2 自变量定性变量回归模型的应用,以上只是根据散点图从直观上判断本例数据应该用折线回归拟合，这一点还需要做统计的显著性检验，这只需对（9.2）式的回归系数2做显著性检验。,9.2 自变量定性变量回归模型的应用,对2的显著性检验的显著性概率Sig=0.153，2没有通过显著性检验，不能认为2非零。用y对x做一元线性回归，计算结果为：,9.2 自变量定性变量回归模型的应用,二、回归系数相等的检验,例9.3 回到例9.1的问题，例9.1引入0-1型自变量的方法是假定储蓄增加额y对家庭收入的回归斜率1与家庭年收入无关，家庭年收入只影响回归
11、常数项0，这个假设是否合理，还需要做统计检验。检验方法是引入如下含有交互效应的回归模型： yi=0+1xi1+2xi2+3xi1xi2+i(9.8) 其中y为上一年家庭储蓄增加额， x1为上一年家庭总收入， x2表示家庭学历， 高学历家庭x2=1,低学历家庭x2=0。,9.2 自变量定性变量回归模型的应用,回归模型（9.8）式可以分解为对高学历和对低学历家庭的两个线性回归模型，分别为：,高学历家庭x2=1, yi=0+1xi1+2+3xi1+i =（0+2）+（1+3）xi1+i 低学历家庭x2=0， yi=0+1xi1+i,9.2 自变量定性变量回归模型的应用,要检验两个回归方程的回归系数(
12、斜率)相等，等价于检验 H0：3=0，,当拒绝H0时，认为30，这时高学历与低学历家庭的储蓄回归模型实际上被拆分为两个不同的回归模型。 当接受H0时，认为3=0，这时高学历与低学历家庭的储蓄回归模型是如下形式的联合回归模型： yi=0+1xi1+2xi2+i,9.2 自变量定性变量回归模型的应用,9.3 因变量是定性变量的回归模型,在许多社会经济问题中，所研究的因变量往往只有两个可能结果，这样的因变量也可用虚拟变量来表示，虚拟变量的取值可取0或1。,一、定性因变量的回归方程的意义,设因变量y是只取0，1两个值的定性变量，考虑简单线性回归模型 yi=0+1xi+i (9.12) 在这种y只取0，
13、1两个值的情况下，因变量均值E(yi)=0+1xi有着特殊的意义。,9.3 因变量是定性变量的回归模型,由于yi是0-1型贝努利随机变量，则得如下概率分布： P(yi=1)=i P(yi=0)=1-i 根据离散型随机变量期望值的定义，可得 E(yi)=1(i)+0(1-i)=i （9.13） 得到 E(yi)=i=0+1xi,9.3 因变量是定性变量的回归模型,二、定性因变量回归的特殊问题,1. 离散非正态误差项。,对一个取值为0和1的因变量， 误差项i=yi-(0+1xi)只能取两个值： 当yi=1时， i=1-0-1xi=i 当yi=0时， i=-0-1xi=1-i 显然，误差项i是两点型
14、离散分布，当然正态误差回归模型的假定就不适用了。,9.3 因变量是定性变量的回归模型,2. 零均值异方差性。,当因变量是定性变量时，误差项i仍然保持零均值，这时出现的另一个问题是误差项i的方差不相等。0-1型随机变量i的方差为 D(i)=D(yi) =i(1-i) =(0+1xi)(1-0-1xi) （9.14） i的方差依赖于xi，是异方差，不满足线性回归方程的基本假定。,9.3 因变量是定性变量的回归模型,3.回归方程的限制,当因变量为0、1虚拟变量时，回归方程代表概率分布，所以因变量均值受到如下限制： E(yi)=i1 对一般的回归方程本身并不具有这种限制，线性回归方程yi=0+1xi将
15、会超出这个限制范围。,9.4Logistic回归模型,一、分组数据的Logistic回归模型,针对0-1型因变量产生的问题，我们对回归模型应该做两个方面的改进。,第一，回归函数应该改用限制在0，1区间内的连续曲线，而不能再沿用直线回归方程。,9.4Logistic回归模型,限制在0，1区间内的连续曲线有很多，例如所有连续型随机变量的分布函数都符合要求，我们常用的是Logistic函数与正态分布函数。Logistic函数的形式为,Logistic函数的中文名称是逻辑斯谛函数，或简称逻辑函数。,9.4Logistic回归模型,第二，因变量yi本身只取0、1两个离散值，不适于直接作为回归模型中的因变
16、量。 由于回归函数E(yi)=i=0+1xi表示在自变量为xi的条件下yi的平均值，而yi是0-1型随机变量，因而E(yi)=i就是在自变量为xi的条件下yi等于1的比例。这提示我们可以用yi等于1的比例代替yi本身作为因变量。 下面通过一个例子来说明Logistic回归模型的应用。,9.4Logistic回归模型,例9.4 在一次住房展销会上，与房地产商签定初步购房意向书的共有n=325名顾客中，在随后的3个月的时间内，只有一部分顾客确实购买了房屋。购买了房屋的顾客记为1，没有购买房屋的顾客记为0。以顾客的年家庭收入（万元）为自变量x，对如下的数据，建立Logistic回归模型,9.4Log
17、istic回归模型,9.4Logistic回归模型,Logistic回归方程为,其中c为分组数据的组数，本例c=9。做线性化变换，令,上式的变换称为逻辑（Logit）变换，得,pi=0+1xi+i,（9.16）,（9.18）,（9.17）,9.4Logistic回归模型,计算出经验回归方程为 -0.886+0.156x （9.19） 判定系数r2=0.9243，显著性检验P值0，高度显著。还原为（9.16）式的Logistic回归方程为,利用（9.20）式可以对购房比例做预测，例如对x0=8，,9.4Logistic回归模型,我们用Logistic回归模型成功地拟合了因变量为定性变量的回归模型
18、，但是仍然存在一个不足之处，就是异方差性并没有解决，（9.18）式的回归模型不是等方差的，应该对（9.18）式用加权最小二乘估计。当ni较大时，pi的近似方差为：,其中i=E(yi)，因而选取权数为： wi=nipi(1-pi),9.4Logistic回归模型,用加权最小二乘法得到的Logistic回归方程为,对x0=8时的购房比例做预测,9.4Logistic回归模型,二、未分组数据的Logistic回归模型,设y是0-1型变量，x1,x2,xp是与y相关的确定性变量， n组观测数据为(xi1 ,xi2 ,xip ;yi)，i=1,2,n， yi与xi1 ,xi2 ,xip的关系为： E(y
19、i)=i=f(0+1xi1+2xi2+pxip) 其中函数f（x）是值域在0，1区间内的单调增函数。对于Logistic回归,9.4Logistic回归模型,于是yi是均值为i=f(0+1xi1+2xi2+pxip)的0-1型分布，概率函数为： P(yi=1)=i P(yi=0)=1-i 可以把yi的概率函数合写为：,i=1,2,n,于是y1, y2 , , yn的似然函数为：,9.4Logistic回归模型,代入得,对数似然函数,Logistic 回归,极大似然估计就是选取0 ,1 ,2 ,p的估计值使上式达极大。,9.4Logistic回归模型,例9.5 在一次关于公共交通的社会调查中，一
20、个调查项目是“是乘坐公共汽车上下班，还是骑自行车上下班。” 因变量y=1表示主要乘坐公共汽车上下班， y=0表示主要骑自行车上下班。 自变量x1是年龄，作为连续型变量； x2是月收入（元）； x3是性别，x3=1表示男性，x3=0表示女性。 调查对象为工薪族群体，数据见表9.9，试建立y与自变量间的Logistic回归。,9.4Logistic回归模型,9.4Logistic回归模型,以下是SPSS软件部分运行结果：,9.4Logistic回归模型,X2（月收入）不显著，将其剔除。,最终的回归方程为：,9.4Logistic回归模型,三、Probit回归模型,Probit回归称为单位概率回归，
21、与Logistic回归相似，也是拟合0-1型因变量回归的方法，其回归函数是,【例9.6】 仍然使用例9.4购房数据,9.4Logistic回归模型,9.4Logistic回归模型,得回归方程：,或等价地表示为：,对x0=8,9.4Logistic回归模型,SPSS软件提供了对分组数据拟合Probit回归。,得,9.4Logistic回归模型,在SPSS软件的Probit回归对话框，可以看到一个Logit选项，用这个选项可以对分组数据做Logistic回归。对此例计算出的Logistic回归方程是,这也是使用数值计算的最大似然估计，与用最小二乘法所得到的Logistic回归方程,很接近。,9.5
22、 多类别Logistic回归,当定性因变量y取k个类别时，记为1，2，k。因变量y取值于每个类别的概率与一组自变量x1,x2,xp有关，对于样本数据 (xi1,xi2,xip ;yi)，i=1,2,n ，多类别Logistic回归模型第i组样本的因变量yi取第j个类别的概率为：,（9.34）,9.5 多类别Logistic回归,上式中各回归系数不是惟一确定的，每个回归系数同时加减一个常数后的数值保持不变。为此，把分母的第一项中的系数都设为0，得到回归函数的表达式,（9.35）,9.5 多类别Logistic回归,【例9.7】 本例数据选自SPSS软件自带的数据文件telco.sav. 该文件在
23、 SPSS tutorialsample_files文件夹内。 一个电信商要分析顾客选择服务类别的影响因素，因变量是顾客类别（Customer category），变量名为custcat，共取4个类别： 1=“Basic service”; 2=“E-service”; 3=“Plus service”; 4=“Total service” 数据的样本量n=1 000。 可以用Edit菜单中的Options选项的General选项卡选择显示变量标签,可以在显示变量完整的名称。,9.5 多类别Logistic回归,进入多类别Logistic回归对话框。 把因变量Customer category
24、custcat选入Dependent框条中,这里Customer category是变量标签，custcat是变量名称。 把定性自变量 Marital status marital, Level of education ed, Retired retire和Gender gender 选入 factors框条中。 把数值型自变量 Age in Years age, Years at current address address, Household income in thousands income, Years with current employer employ,和 Number
25、 of people in household reside 选入covariates框条中。 在因变量框条的下面有一个Reference category按钮，点击进入，选择以First category为参照类别，这也就是选择（9.35）式的回归方程。,9.5 多类别Logistic回归,9.5 多类别Logistic回归,9.5 多类别Logistic回归,使用逐步回归,9.5 多类别Logistic回归,9.5 多类别Logistic回归,9.5 多类别Logistic回归,输出结果9.14 Parameter Estimates,9.5 多类别Logistic回归,9.5 多类别Lo
26、gistic回归,9.5 多类别Logistic回归,对每个样品计算出因变量y取第j个类别的 概率，因变量的预测值就是 最大的类别。,9.5 多类别Logistic回归,可以用Save按钮保存预测概率和预测值，表9.6是前20个样品的预测数值。,9.6 因变量是顺序变量的回归,当定性因变量y取k个顺序类别时，记为1，2，k，这里的数字1，2，k仅表示顺序的大小。 因变量y取值于每个类别的概率仍与一组自变量x1,x2,xp有关，对于样本数据 (xi1,xi2,xip ;yi)，i=1,2,n ，顺序类别回归模型有两种主要类型， 一种是位置结构（Location component）模型， 另一种
27、是规模结构（Scale component）模型。,9.6 因变量是顺序变量的回归,位置结构模型：,（9.36）,9.6 因变量是顺序变量的回归,规模结构模型：,其中是x1,x2,xp的一个子集，作为规模结构解释变量，,（9.37）,9.6 因变量是顺序变量的回归,9.6 因变量是顺序变量的回归,还是使用SPSS软件自带的一个数据文件german_credit.sav说明此方法。 【例9.8】 一个信贷员想评估信贷业务的风险，选取客户的帐户状态（account status）作为因变量，有5个有序类别值，分别是 1无债务历史， 2目前无债务， 3目前有正在偿还的债务， 4曾拖欠债款， 5危机的
28、帐户。 解释变量由多个财务和个人资料变量构成。,9.6 因变量是顺序变量的回归,进入有序数据回归对话框。 把因变量account statuschist选入Dependent框条中。 把定性自变量# of existing credits numcred, Other installment debts othnstal和Housing housng 选入 factors框条中。 把数值型自变量 Age in Years age和Duration in months duration 选入covariates框条中。 点击Options按钮选择Complementary Log-Log类型的联系函数，这是因为通过对因变量的频数分析发现类别3和5出现的频率很大，属于高层类别出现几率大的分布。,9.6 因变量是顺序变量的回归,应用回归分析 The end,