筛选可行的项目绩效评价指标

1.问卷的发放和收回

为充分保证样本数据的质量，且能体现政府投资基本建设项目的实际特点，运用问卷调查的方法获得政府投资基本建设项目指标重要程度所需要的数据。为保证问卷结果的质量，问卷发放范围为业主单位、施工单位、设计单位、监理单位、天津市财政局相关部门以及造价管理科研机构等，问卷主要填写者为一线管理人员以及政府投资基本建设项目中从事实际施工的工作人员。

在调查问卷的设计中，采用5点式Likert量表，并对政府投资基本建设项目绩效评价度量方式做一定的调整，对指标分数划分为5个等级，从1分“不重要” 到5分“极其重要”，得分越高表示该指标对政府投资基本建设项目绩效评价越重要，具体问卷见附录。为了保证政府投资基本建设项目绩效评价指标调查问卷发放的效率和回收率，研究人员通过现场、电子邮件等方式发放，要求受访者根据政府投资基本建设项目的实际情况和自身的专业知识，对156个绩效评价指标的重要性进行相应的选择。本次共发放调查问卷160份，收回问卷137份，其中有效问卷124份，有效回收率为77.5%，将选择结果过于趋同性的问卷判为无效问卷并予以剔除，调查问卷的最终数据统计结果如附表2所示。

2.信度分析

调查问卷的可靠性和稳定性一般是通过信度分析来加以检验和衡量，信度的主要作用是对测量变量的稳定性进行检验，与最终测量结果的正确性无关。在对调查问卷做信度分析时，通常采用Cronbach a系数进行衡量^[3]。利用SPSS软件对调查问卷的Cronbach a系数进行分析，Alpha系数介于0～1之间，其值越接近于1，代表调查问卷的信度越高^[4]。通常情况下，Cronbach a≥0.9表示问卷的实际效果十分可信，0.7≤Cronbach a≤0.9表示问卷的实际效果很可信。对调查问卷收集到的相关数据运用SPSS 19.0进行Cronbach α测试，对政府投资基本建设项目绩效评价指标调查问卷各阶段的数据进行信度分析，结果显示Cronbach a系数如表3-2所示。

表3-2　信度分析结果

由表3-2可知，政府投资基本建设项目绩效评价指标在各个阶段的Cronbach α系数均大于0.9，说明该调查问卷十分可信，根据问卷选取的指标可以用于对政府投资基本建设项目进行相应的绩效评价。

3.效度分析

效度分析主要是检验测量变量的质量，是能够准确反映待测量特征的程度。有研究认为测量效度评价的指标主要有三种，即内容效度、准则效度以及结构效度^[5]，一般从这三个方面对测量变量的准确程度予以反映。内容效度主要根据调查问卷中每个测量变量是否能够代表和反映测量目标进行分析；准则效度主要是指测量变量的结果与现行相关准则的切合程度；结构效度则是指调查问卷中的测量变量与某一理论概念之间的相关程度。

内容效度和准则效度主要依赖于调查问卷中测量变量的表述以及设置方式，鉴于本书中政府投资基本建设项目绩效评价指标调查问卷的内容是通过相关建设标准、绩效报告、设计文件、《预算绩效评价共性指标体系框架》的指标说明以及大量相关文献的研究，并在问卷初步完成之后与相关单位进行多次协商沟通并经过若干次修正得到的，因此具有相对较高的内容准则效度；结构效度通常需要根据一定的统计分析来进行检验，James指出因子分析是考察和测量调查问卷数据结构效度最有效的方式^[6]，因此，通过因子分析中KMO值和Bartlett球形检验对调查问卷中的相关数据进行结构效度分析，对收回调查问卷的效度分析结果如表3-3所示。

表3-3　效度分析结果(www.xing528.com)

由表3-3可知，政府投资基本建设项目绩效评价各阶段量表的KMO样本测度值均大于0.5，同时这四个阶段量表的Bartlett球体检验小于0.001，根据这一结果认为有较好的结构效度。因此，政府投资基本建设项目绩效评价指标调查问卷收集到的数据可以进行相应的因素分析，故通过效度检验。

4.评价指标的隶属度分析

隶属度这一概念最初是从模糊数学中引申出的，在模糊数学中，存在这样一种观点，由于大量的模糊现象概念外延无法具体描述，同时也无法用集合理论进行归类，对某个具体的元素也无法将其完全归入某个集合，只能解释为在一定程度上属于这个集合，因此，将元素归入某个集合的程度属性定义为隶属度^[7]。对模糊的、定性的政府投资基本建设项目绩效评价结果进行定量分析的主要手段是模糊数学，即利用模糊数学中的隶属度来建立评价指标与评价等级之间的映射关系，并描述评价指标对绩效结果的重要程度。

将政府投资基本建设项目绩效评价指标体系｛S｝视为一个模糊集，将绩效评价指标体系｛S｝中的每一个指标视为一个元素，并对每一个元素进行隶属度分析。假设有N份有效问卷对政府投资基本建设项目绩效评价指标的重要程度进行评价，对于第i个评价指标Si，其重要程度的选择为“极其重要”“非常重要”以及“重要”三者之和的问卷数量共有Mi份，则该评价指标的隶属度为：R=Mi/N，若Ri值很大，表明该绩效评价指标在很大程度上属于模糊集合，即该绩效评价指标在政府投资基本建设项目绩效评价指标体系中很重要，因此可以将其保留下来作为正式的绩效评价指标；反之，则予以删除。对124份有效问卷进行相应的统计分析，通过R=Mi/N计算得出156个评价指标的隶属度如附表3所示。

如何在隶属度分析中确定筛选标准并对其等级进行界定，目前并无权威的规定，本书采用各绩效评价指标隶属度的平均值作为筛选的临界值，将所有绩效评价指标隶属度低于平均值0.764的指标予以删除，至此形成含有67个指标的新绩效评价指标体系，如表3-4所示。

表3-4　筛选后的政府投资基本建设项目绩效评价指标体系

续表

根据受访者对调查问卷中各个绩效评价指标的意见形成的新的政府投资基本建设项目绩效评价指标体系，指标数量不仅在原有基础上有所减少，同时保留了相应评价专家普遍认可并接受的指标，因而，经隶属度分析后并筛选相应指标后形成的政府投资基本建设项目绩效评价指标体系具有合理性和可操作性。