《人工智能第7章参考答案.docx》由会员分享，可在线阅读，更多相关《人工智能第7章参考答案.docx（9页珍藏版）》请在三一文库上搜索。
1、第7章机器学习参考答案7-6设训练例子集如下表所示:序号属性分类XiX21TT+2TT+3TF-4FF+5FT6FT请用3算法完成其学习过程。解：设根节点为S,尽管它包含了所有的训练例子，但却没有包含任何分类信息，因此具有最大的信息嫡。即：H(S产-(P(+) 2 P(+) + P(-) 2 P(-)式中P(+)=3/6 , P(-)=3/6分别是决策方案为“ +”或“-”时的概率。因此有H(S)= - (3/6)2(3/6) + (3/6)2(3/6)=1按照3算法，需要选择一个能使S的期望嫡为最小的一个属性对根节点进行扩展，因此我们需要先计算S关于每个属性的条件熵：H()= ( / )*
2、H() + ( / )* H()其中，T和F为属性的属性值，和分别为或时的例子集，、|和分 别为例子集S、和的大小。下面先计算S关于属性X1的条件嫡：在本题中，当xi时，有：1 ， 2， 3当 x1 时，有：4 ， 5， 6其中，和中的数字均为例子集S中的各个例子的序号，且有6,| 3。由可知，其决策方案为“+”或“- ”的概率分别是：(+)=2/3(-)=1/3因此有：H()= - ( (+)2 (+) + (-)2 (- )= - (2/3)2(2/3) + (1/3)2(1/3)=0.9183再由可知，其决策方案为“+”或“-”的概率分别是：(+)=1/3(-)=2/3则有：H ()=
3、- ( (+)2 (+) + (-)2 (- )= - (1/3)2(1/3)+ (2/3)2(2/3)=0.9183将H()和H ()代入条件嫡公式，有：H(1)=()H()+ ()H()=(3/6)* 0.9183 + (3/6)* 0.9183=0.9183下面再计算S关于属性X2的条件嫡：在本题中，当X2时，有：1 ， 2， 5， 6当X2时，有：3 ， 4其中，和中的数字均为例子集S中的各个例子的序号，且有6, | 4， | 2。由可知：(+) = 2/4P (-) = 2/4则有：H()= - (P (+) 2 P (+) + P (-) 2 P (- )= - (2/4)2(2/
4、4) + (2/4)2(2/4)=1再由可知：P (+)=1/2P (-)=1/2则有：H()= - (P(+) 2 P(+) + P(-)2 P(- )= - (1/2)2(1/2)+ (1/2)2(1/2)=1将H()和H ()代入条件嫡公式，有：H(2)=()H()+ ()H()=(4/6)* 1 + (2/6)* 1=1可见，应该选择属性xi对根节点进行扩展。用xi对S扩展后 所得到的部分决策树如下图所示。-)4)-扩展X1后的部分在该决策树中，其2个叶节点均不是最终决策方案，因此还 需要继续扩展。而要继续扩展，只有属性 X2可选择，因此不需要再进行条件嫡的计算，可直接对属性 X2进行
5、扩展。对X2扩展后所得到的决策树如下图所示:X1SX2扩展X2后得到的完整7-9 假设 w(0)=0.2, 血(0)=0.4,6 (0)=0.3,4=0.4 ,请用单层感知器完成逻辑或运算的学习过程。解：根据“或”运算的逻辑关系，可将问题转换为：输入向量：Xi=0, 0, 1, 1X 2=0, 1, 0, 1输出向量：0, 1,1,1由题意可知，初始连接权值、阈值，以及增益因子的取值分别 为:5 / 9w(0)=0.2, w 2(0)=0.4 , e (0)=0. 3,=0.4即其输入向量X(0)和连接权值向量W(0)可分别表示为:X(0)=(-1, x 1 (0), x 2 (0)W(0)=
6、( e (0),佩0), w 2 (0)根据单层感知起学习算法，其学习过程如下：设感知器的两个输入为x1(0)=0 和x2(0)=0 ，其期望输出为d(0)=0 ，实际输出为：y(0)(w 1(0) x 1(0)+ w 2(0) x 2(0)- 6 (0)(0.2*0+0.4*0-0.3)(-0.3)=0实际输出与期望输出相同，不需要调节权值。再取下一组输入：x1(0)=0 和x2(0)=1 ， 其期望输出为d(0)=1 ，实际输出为：y(0)(w i(0) x i(0)+ w 2(0) x 2(0)- 6 (0)(0.2*0+0.4*1-0.3)(0.1)=1实际输出与期望输出相同，不需要调
7、节权值。再取下一组输入：x1(0)=1 和x2(0)=0 ， 其期望输出为d(0)=1 ，实际输出为：y(0)(w i(0) x i(0)+ w 2(0) x 2(0)- 6 (0)(0.2*1+0.4*0-0.3)实际输出与期望输出不同，需要调节权值，其调整如下：e (i)= e (0)+ t (d(o)-y(0)*(-1)=0.3+0.4*(1-0)*(-1)= -0.1w(1) 1(0)+ T (d(0)-y(0)x1(0)=0.2+0.4*(1-0)*1=0.6w2(1) 2(0)+ t (d(0)-y(0)x2(0)=0.4+0.4*(1-0)*0=0.4再取下一组输入：x1(1)=
8、1 和x2(1)=1 ，其期望输出为d(1)=1 ，实际输出为：y(1)(w i(1) x i(1)+ w 2(1) x 2(1)- 8(1)(0.6*1+0.4*1+0.1)(1.1)=1实际输出与期望输出相同，不需要调节权值。再取下一组输入：x1(1)=0 和x2(1)=0 ， 其期望输出为d(0)=0 ，实际输出为：y(1)(w 1(1) x 1(1)+ w 2(1) x 2(1)- 8(1)(0.6*0+0.4*0 + 0.1)(0.1)=1实际输出与期望输出不同，需要调节权值，其调整如下：e (2)= e (1)+“(d(1)-y(1)*(-1)=-0.1+0.4*(0-1)*(-1
9、)= 0.3w(2) 1(1)+ t (d(1)- y(1)x1(1)=0.6+0.4*(0-1)*0=0.6w2(2)2(1)+ t (d(1)- y(1)x2(1)=0.4+0.4*(0-1)*O=0.4再取下一组输入：x1(2)=0 和x2(2)=1 ，其期望输出为d(2)=1 ，实际输出为：y(2)(w i(2) x i(2)+ w 2(2) x 2(2)- 6 (2)(0.6*0+0.4*1 - 0.3)(0.1)=1实际输出与期望输出相同，不需要调节权值。再取下一组输入：x1(2)=1 和x2(2)=0 ， 其期望输出为d(2)=1 ，实际输出为：y(2)(w i(2) x i(2
10、)+ w 2(2)x 2(2)- 6 (2)(0.6*1+0.4*0 - 0.3)(0.3)=1实际输出与期望输出相同，不需要调节权值。再取下一组输入：x1(2)=1 和x2(2)=1 ， 其期望输出为d(2)=1 ，实际输出为：y(2)(w i(2) x i(2)+ w 2(2) x 2(2)- 6 (2)(0.6*1+0.4*1 - 0.3)(0.7)=1实际输出与期望输出相同，不需要调节权值。至此， 学习过程结束。最后的得到的阈值和连接权值分别为：e (2)= 0.3w1(2)=0.6w2(2)= 0.4不仿验证如下：对输入：“0 0 ”有(0.6*0+0.4*0-0.3)(-0.3)=0对输入：“0 1 ”有(0.6*0+0.4*1-0.3)(0.1)=1对输入：“1 0”有(0.6*1+0.4*0-0.3)(0.3)=1对输入： “ 1 1 ”有 (0.6*1+0.4*1-0.3)(0.7)=19 / 9