2019【课件】绩效评价中的数据采集和社会调查.ppt

《2019【课件】绩效评价中的数据采集和社会调查.ppt》由会员分享，可在线阅读，更多相关《2019【课件】绩效评价中的数据采集和社会调查.ppt（51页珍藏版）》请在三一文库上搜索。

1、绩效评价中的 数据采集和社会调查,http:/ 绩效包含了效率、产品与服务质量及数量、机构所做的贡献与质量，包含了节约、效益和效率 （普雷母詹德编的公共支出管理一书 ） 绩效是一个相对的概念，它可以用努力和结果这样的字眼进行定义 （亚洲开发银行的Salvatore Schiavo-Campo在强化政府支出管理“绩效”一文 ） 绩效是实施一项活动所获得的相对于目标的有效性，它不仅包括从事该项活动的效率、经济性和效力，还包括活动实施主体对预定活动过程的遵从度以及该项活动的公众满意程度（ OCED1994年一份报告Performance measurement and evaluation ）,ht

2、tp:/ ，如教育支出评价,财政支出综合评价（政府总体）,总体,类型,项目,单位,http:/ 该模型与政府会计标准委员会的评估模型相似，包括六大类指标： 第一，投入指标。衡量某一项目或服务消耗的资源。 第二，能量指标。度量一个机构提供服务的能力。可帮助部门主管评估本部门雇员培训的程度、物质设施状况及系统准备就绪的程度。 第三，产出指标。这些指标衡量为服务人口提供的产品数量或服务单位。同时也包括“工作量”指标，反映在为生产一个产品或提供一项服务所消耗的努力程度。 第四，结果指标。这些指标衡量项目和服务的结果，具有定量和定性的特征。 第五，效率和成本效益指标。效率指标反映服务的程度与提供服务所需

3、资金与人力资源的成本之比。 第六，生产力指标。根据安蒙斯(Ammons)的理解，“生产力指标将效率与效益结合成一个单一指标”。如“每个劳动时间修补路程数”反映效率；“正当地修补的路程数的百分比”(如6个月内不需要重新修补)反映效益；“有效修补每公尺路所需的单位成本(或劳动小时)”则反映生产力。,http:/ 2002年，美国总统预算与管理办公室(OMB)为低收入住房援助、职业培训与就业、荒地火情管理、减轻水灾损失、灾害保险、医疗卫生、环境保护等项目开发统一的评估指标，又称“通用评估指标”，即 (1)联邦住房项目评估的通用指标：相关成本-效果衡量指标；一定预算资源所帮助的家庭数量。 (2)职业培

4、训和就业项目评估的通用指标：找到工作；项目参加者得到证书或学位；得到的收入；每一个工作岗位的项目总成本。 (3)荒地火情管理评估的通用指标：高风险的社区脱离高风险名单的比例；完成火情管理计划；每场火情的成本和每英亩面积火情的成本。 (4)减轻水灾损失项目评估的通用指标：该项目包括四个具体项目，通用绩效指标只有一个，即联邦支出与净社会效益之比(每一美元开支的净经济效益)。 (5)对参加灾害保险项目评估以投保人数作为通用评估指标。 (6)医疗卫生评估的通用指标：人均享有联邦资助、直接用于医疗卫生项目的支出；每个医生、护士、医生助理每天看病的人数；同一疾病再次就医的病人数占收治住院的病人总数之比。

5、(7)对环境保护的评估，重点是三个项目的通用指标：农村水工程评估(每百万美元建设输水管线的数量；每百万美元提供的可饮用水数量；每百万美元处理的到达标准的水量)；饮用水的基础设施贷款项目(每百万美元建设输水管线的数量；每百万美元提供的可饮用水数量；每百万美元处理的到达标准的水量)；非定点水污染源项目(每百万美元减少的沉积物吨数；每百万美元减少的有机物磅数；计算机构的活动对沉积过多和污染发生影响的比例)。,http:/ 政府常规统计（年鉴或手册） 单位统计报表或台账系统 审计报告 现场实测 市场调查 社会调查,http:/ 抽样调查是根据部分实际调查结果来推断总体标志总量的一种统计调查方法，属于非

6、全面调查的范畴。它是基于节约成本的考虑。 绩效抽样调查的目标总体为被评价项目所惠及的所有市民，为了对项目绩效实施客观公正的评价，调查问卷的发放应该遵循统计科学的基本原理，通过抽样调查获取评价信息必须符合一定的程序规范。,http:/ 总体是我们研究也即进行调查对象的全体。它是由研究对象中所有性质相同的个体所组成的，组成总体的各个个体称作总体单位或单元。如某地进行企业调查，调查对象是各行业、各种所有制及各种规模的企业，那么在该地所有国有的、集体的及个体的，工业、商业及交通运输等所有行业，大小不等的所有企业构成一个总体。 总体又有目标总体和实际总体之分，如了解浦东人拥有手机的情况，目标总体就应为全

7、体浦东人；但考虑一些年龄段(如老人和儿童)的人拥有的比例很低，如果全部调查难免事倍功半，于是实际调查时会加上时空年龄和居住时间等限制，这就形成了一个实际总体。,http:/ 1)调查样本是按随机的原则抽取的，能够保证被抽中的单元在总体中的均匀分布，不致出现倾向性误差，代表性强。 2)所抽选的调查样本数量，是根据调查误差的要求，经过科学的计算确定的，在调查样本的数量上有可靠的保证。 3)抽样调查的误差，是在调查前就可以根据调查样本数量和总体中各单元之间的差异程度进行计算，并控制在允许范围以内，调查的准确程度较高。,http:/ 也称随机抽样。是从构成总体的所有单元中按一定程序随机选择一部分单元进

8、入样本的抽样方法。概率抽样具有以下特点： 1）能够表明一个确定的样本包含哪些单元。 2）对每个可能的样本，都有一个确定的被抽取概率。 3）以随机原则抽取样，不受任何主观因素的影响，使每一个单元都有一定的概率入选样本。 4）从样本数据估计总体特征时，需要考虑该样本被抽中的概率。 概率抽样的优点是能够保证样本的代表性，避免人为因素的干扰。概率抽样还有一个优点是根据概率样本估计总体特征时，可以对样本产生的抽样误差进行估计。,http:/ 是指样本由抽样者主观抽出或受访者自愿进入样本的抽样方法。非概率抽样有多种方式，主要有便利抽样、自愿抽样、滚雪球抽样、配额抽样等，我们常用的典型调查和重点调查都属于非

9、概率抽样。由于非概率抽样不能保证样本的随机性，因此根据非概率样本估计总体特征时，不可避免地以下缺点： 1）难以评价样本的代表性。 2）无法估计抽样误差。 3）偏倚往往较大。,http:/ 1、每个街镇的规模是大小不等的，因而有偏差； 2、对每个街镇的总体而言，100份的代表性不足； 3、抽样框不合理。,http:/ 抽样框可能以各种形式出现：名单、手册、地图、数据包。无论抽样框采取何种形式，在抽样之后，调查者必须能够根据抽样框找到具体的抽样单元。因此，1)抽样框必须是有序的。即抽样单元必须编号，且根据某种顺序进行了排列。2)抽样框中包含的单元务必要“不重不漏”，否则将出现抽样框误差。,http

10、:/ 非抽样误差不是由抽样引起的，它包括调查误差，不完整的抽样框引起的误差，不回答误差以及由于填写或录入调查数据中的谬误而产生的误差。非抽样误差与样本量大小无关，这些误差在全面调查中也是存在的，减少非抽样误差的方法主要是严格调查程序，规范调查及加强人员的培训和管理，合理地设计问卷等。 抽样误差是由于抽样造成的误差，是用样本数据对总体特征进行估计所引起的代表性误差。由于每次只是抽取一个样本，不同的样本由于包含的单元不同，得到的估计值自然不同。各个估计值与总体特征之间不可避免地存在差距，由此产生了抽样误差。与非抽样误差不同的是，抽样误差是能够计量的，也可以得到控制。,http:/ 具有主观性 优点

11、：容易确定，简单易行 缺点：无效率、不经济,http:/ 对于成本基础法的区别很大； 通常会忽视调查结果对管理决策的价值； 确定样本容量一个好的办法是考虑成本与调研对于经历的价值之间的关系；,http:/ 如果要讨论分类变量的影响，那么每一分类变量的样本数应符合统计分析数的需要 要将每一类样本或子集看成一个总体,http:/ 公式中：N=合格总体的大小，t2=与值的正态分布下的面积有关的标准差得分的平方值，p=用于计算样本量的类别的百分比，q=1-p，d2=围绕样本估计值的一半的精度区间的平方值。工作中拟采用的标准为置信度，绝对误差限度=0.05，总体方差2=0.25。,http:/ n=15

12、*15/(3*3/(1.96*1.96)+15*15/1000)=88 也就是说，当我们把公共工程给社区居民平均出行带来时间便利作为一个评价指标时，并希望把调查误差控制在3分钟以内，需要调查结果有95的可靠性时，对1000人的社区需要抽88个样本。,http:/ 2891户，乙村涉及1965户，丙村涉及3128户。由于3个镇的项目运作方式有所差异，所以可视为3种类型。按照分析目标总体被分割为3个子总体，用上述抽样公式分别计算出甲村的样本量为383 户，乙村的样本量为382户，丙村的样本量为383户，各层间应相互独立，并且全体上没有遗漏。 为留有余地，评价小组将样本量定为1200份。,http:

13、/ 使用学生以及社会组织成员； 商场拦截购物者； 使用费用帐目清单确定的百货商店； “街上的行人”访谈。 便利抽样在所有抽样技术中成本最低、耗时最少，抽样单位易于接近； 不能代表总体。,http:/ 进行判断的研究人员或专家选出要被包括进样本的个体 是主观的判断，其价值完全取决于研究人员的判断、专业知识以及创造力 缺点是不支持特定总体的直接推断 优点是成本低、便利且快速,http:/ 第一阶段，由确定总体中的个体的控制类别或者配额组成，配额确保了样本的组成与总体的组成在特定特征方面相同； 第二阶段，样本个体在便利或者判断的基础上被选择出来 缺点是缺乏对总体的代表性，无法计算抽样误差 优点是低成

14、本，并且为每个配额选择个体对访谈人员而言较为容易,http:/ 与随机的方式相比，被推举的人将具备与推荐人更为翔实的人口及心理特征。 主要目的是估计总体中非常稀少的某些特征。 缺点是这种方式非常耗时。,http:/ 首先确定一个抽样框，其中的每一个个体被分配了一个唯一的号码，然后产生出随机的数字来确定那些个体被包括进样本中 盲选 Blind Draw 随机数表 the table of random number 优点是易于理解，样本结果可以推断总体，大多数统计推论方法都假定数据是由简单随机抽样法获得 局限性：抽样框难以构建；数据收集时间和成本高；比其他概率抽样精确度低，标准差较大。,http

15、:/ 这种方法成本较低，因为只需要做一次随机抽样 可以在不了解抽样框的组成的情况下进行,http:/ 各层间应相互独立，并且全体上没有遗漏； 与配额抽样法法的不同是自总体的样本选取是随机的； 分层抽样可以确保子总体在样本中都得以体现。,http:/ 可分为单阶段整群抽样与二阶段整群抽样； 与分层抽样的关键差别在于，在整群抽样中，只有一个子总体的样本被选出，而在分层抽样中，为了进一步的抽样，所有的子总体都被选出来了； 整群抽样的目的是通过降低成本来增加抽样效率，分层抽样的目的是增加精确度。 在每个群的中的各体，应尽可能的异质性，但各群本身应尽可能的同质。,http:/ 2.将浦东的38个街镇按三

16、个样本点，以其社会经济变量指标或人口总量指标降序排列，按随机数抽取六个街镇。 在每一个街镇内部，按照社会经济变量指标降序排列村、居委会。如果无法取得数据，可按拼音字母排列。 3.利用系统比例抽样， 抽取40个村、居委会。 在每一类的内部，村、居委会是首级抽样单位（PSUs）。 4. 系统比例抽样的起始点，为-1到小于系统抽样间距的整数-之间的随机数。,http:/ 每个社区随机抽取40户家庭。根据既有的经验，上海城市家庭的应答率为70%，上海农村家庭的应答率为80%。 40-60户家庭从而能够保证每个社区能产生40户家庭参与调查。 对于抽中的家庭，获得抽中家庭的所有成员的人口学信息，并排除不属

17、于我们调查范围的家庭成员（年龄低于18岁，大于70岁）。 利用KISH表，抽中最终的调查对象。,http:/ 1、根据有效回答率调整样本量。在实际调查时，无法保证从每个被抽中的样本点上都能如愿地获取有效有用的信息，如预计有效回答率为75%，那么要获得完整的样本量则应定为：,N =,=,=400,http:/ 3、由于浦东新区城市建设导致人口的高度变化或其他原因，评价单位首先应考虑抽样框在项目实施前后是否发生过变化，如教育项目，周期较长的医疗项目都会发生抽样框的变化。因此，抽样前需要对样本总体进行约定，以保证抽样的对象与项目的效应有可靠的关联度。,http:/ 访谈是一种研究性交谈，包括个人访谈

18、、同种工作员工的群体访谈和主管人员访谈。和问卷调查法相比，访谈调查法可直接和多次接触调查对象，在调查中获得生动详细的第一手资料，能得到有深度、可靠性高并经与本人检验核实的研究材料，还可直接感知和真实了解受访者的思想、情绪与个性特征，有助于更鲜活、更客观地去认识研究对象；也避免对用其他方法获得研究者信息的单纯字面解释或僵化的理解误区。,http:/ 1.结构型访问法（封闭型）。分为两种形式，一种是访问者按事先拟好的访问大纲，对所有被访者进行相同的询问，然后将被访者的回答，填到事先制好的表格中去。另一种是将问题与可能的答案印在问卷上，由被访问者自由选择答案。 2.半结构型访问法（半开放型）。这种方

19、法只是将要问的有关问题交给访问者，但无一定的问题顺序，A型要求被访者自由地回答预定的访谈问题，也可以用讨论的方式回答；B型按有结构的方式回答无结构的问题。这种方法访问时比较方便，被访者易于合作，因而也是被运用较多的访谈形式。,http:/ 在绩效评价工作中，有关机构可以根据评价对象的性质、任务特点和需要，自行选择不同的访谈方法。,http:/ 当评价机构对拟访谈调查的对象群体及其分布状况不甚了解时，可以通过调查对象的相关业务部门或上一级管理部门及管理者(如项目的主管部门、拨款部门或上级领导部门等)先了解拟访对象的基本状况；然后请他们推介选择其中有代表性的几个访谈样本；进而在实际调查其中一两个调

20、查对象后，还可请受访对象再推荐几个符合研究条件的调查样本，如此可滚雪球式的扩大调查范围，推进调查工作的深入进行。这种抽样方法在理论上属于有目的的而非随机抽样，有较好的针对性与可靠性。在浦东新区村庄改造绩效调查中所采访的村、镇、新区机关相关部门的访谈对象，基本上就是按这种方法选定的。,http:/ 事物的开发状况与发展水平或者不同的个体对其发展变化的看法总是不均衡的，表现为“好评、中性、差评”的不同状况。限于研究条件，访谈者可从研究对象的最好、最差的极端中选取少量样本对之调查；通过这样的极端典型事例来揭示所处群体的某些经验或特征。对一个涉及公共改造项目评价状况处于最好、最差两头的少数市民的访谈，

21、有助于更客观了解全部市民的情况或问题的本质。比如浦东新区村庄改造的墙立面装修项目，有些村民热烈拥护，有些村民却不屑一顾甚至强烈反对，通过访谈，可以发现村民的不同诉求其实都是不同房屋所占有利益的投射，在这种情况下，极端的意见不一定反映项目的绩效，但是对总结项目投入的得失，制定新的政策可能有很大帮助。,http:/ 选择研究对象中处于“平均水平”、具有一定代表性的对象作为调查样本，通过访谈调查以了解研究对象的一般情况，在一定程度上反映其大众化意见特征。如用访谈调查了解一个基层单位对项目执行的效果时，可预先对所有可能涉及的对象进行摸底，如果大多数人的意见并不十分极端，可按照随机抽样原则，抽取若干名对

22、象分别进行访谈。,http:/ 1提纲中的问题多为开放式提问，回答的空间余地大。 2问题要简明、具体、易懂，避免太笼统和过于学术化。 3一次访谈问题不必过多，以6个中小问题为宜。在访谈中有可能随着问题深入，会派生出相关的问题及答案。,http:/ 2提问方式、口气与问题，要结合受访者的个性特点、知识水平、文化背景及生活状态，特别是对普通公众的调查，尽可能把专业问题通俗化，学术问题生活化，深奥复杂问题具体化、形象化，使受访对象能明白问题，准确回答。 3在提纲的引导下，调查者主动使访谈问题不断具体化和细节化；尽可能调动对方情绪，获得真实生动可靠的材料。,http:/ 5调查者一定要放下架子，甘当小

23、学生，始终要尊重对方，注意倾听，不要轻易打断对方说话；切忌以专家权威口气装腔作势，随意评论。 6追问技巧：多用欣赏和重视的语气，并用受访者刚表达的语言询问刚谈到的问题，起到进一步解释和验证的作用。 7以约定时间自然结束访谈，千万别拖延时间。并要约定下次访谈的时间、地点，结束时对受访者要表示真诚感谢。,http:/ 1.调查员根据抽样结果，使用问卷对调查对象进行调查； 2.调查员记录工作进度及工作情况，以备检查； 3.调查员每完成一份问卷，应立即检查问卷，确认无误后再离开调查对象，并在交给督导员前再一次审核问卷，检查无误后交给督导员；,http:/ 5.督导员记录工作进度，对调查员工作质量进行评

24、价，并将评价记录备案保存； 6.督导员在将合格的问卷交给调查负责人签字后，将问卷交给录入员； 7.录入员完成数据录入后将调查表交回督导员，分卷保存。,http:/ 1.基础工作 首先要制定数据处理的工作流程和操作规范；其次要落实好数据处理人员、场地、设备和经费；第三要做好数据处理人员的培训工作。,http:/ 在完成数据收集之后，首先要进行编码，编码是为回答内容赋予一个数字以方便数据的整理和处理。该项工作通常应由专人负责。在将数据录入之前，数据编码人员必须首先对问卷进行编辑整理，然后将被调查人对调查的问题给出的答案表示数码。在编码时，每一个问题或变量在个人数据记录中占据的空间位置是事先规定的，

25、即占据的列数和这些列在记录中的位置都是相同的。每一个问题或变量、每一个答案类别都给出了一个规定的数码。在编写和改进答案的分类时，有一条简单的法则应注意：答案分类总是应当互斥和穷尽的。,http:/ 数据录入则是调查内容转变成电脑容易识别的形式，并以数据库进行保存。一般而言，数据录入难免出现差错，常见的如性别栏出现“3”的编码，10岁前的孩子在读中专、大学等。所以，通常人们采用复录勘误和逻辑勘误的方法来解决这些问题。这一环节应注意的问题为： (1) 数据复录。复录是用来纠正数据录入环节的失误。复录工作是将同一问卷同时输入两次，然后进行比对勘误。 (2) 数据审查。数据审查是用来纠正调查环节出现的错误。,http:/