调研工具效度与信度的评估

二、调研工具的效度与信度

以在所有测评项目上作答完整的960个样本的数据为基础，主要分析了测评工具核心部分（即老年人社会适应项目）的结构效度与信度。

（一）测评工具结构效度与信度的初步判定

按照常规，探索性因素分析和验证性因素分析不应该使用同一批作答反应数据，在进行问卷结构效度分析时，960份问卷测试数据随机分成两个部分，按照题目—被试1∶10的比例，选取其中360份问卷测试数据进行探索性因素分析，另外600份测试数据进行验证性因素分析。问卷的信度分析是采用960份问卷测试数据一起进行。

本研究使用了bootstrap方法（Efron，1979）来确定变量的结构。该方法的具体实现过程就是，首先，从960名被试中用回放式的方法分别抽取800名、700名、600名、500名、400名、300名被试进行因素分析，得到各自的因素结构；然后，依然从960名被试中用回放式的方法反复5次抽取360名被试，分别对每次抽取的数据进行因素分析，得到各自的因素结构；最后，在所有这些得到的因素结构的基础上，分析得到一个比较稳定的因素结构，以此作为最合适的结果。本研究提供的是一个样本容量为360的代表性的因素分析结果。

在进行因素分析前，首先通过Barlett球形检验来检验各变量之间的独立性，结果是χ²＝4847.242，自由度为630，p＝0.000，说明变量之间不是独立的，因而进行探索性因素分析是有意义的。

因素分析过程是按如下方法进行的：因子提取方法（即模型估计方法）采用主成分分析法，旋转方法采用方差极大正交旋转法。具体分析结果见图5-1、表5-2。根据特征根大于1的选择方法，从这些变量中提取7个公共因子，共解释总变异的55.699%。

图5-1　特征根碎石图之一

根据大负荷决定因子命名的规则及理论解释的合理性原则，7个公共因子分别命名为：

第一个因子包括7个变量，被命名为生活自理适应性，反映了老年人应对日常生活中的一些问题的能力，如服药、使用电话、买东西、做家务、穿衣、吃饭等内容。

第二个因子包括7个变量，被命名为社会整体变化适应性，反映了老年人对社会整体变化的适应能力，如新社会观点、新社会政策、城市环境变化、社会变化步伐等内容。

第三个因子包括5个变量，被命名为角色转换适应性，反映了老年人对自己工作角色转变的适应能力，如参加社区工作、社会公益、自己的社会价值、学习新知识等内容。

第四个因子包括6个变量，被命名为人际交往适应性，反映了老年人与他人进行交流和交往的适应能力，如与周围人相处、参加集体活动、孤独感、别人对自己评价的知觉等内容。

第五个因子包括5个变量，被命名为变革性，反映了老年人对行为方式改变的适应能力，如坚持己见、固定的行为方式、特立独行的做事风格等内容。

第六个因子包括3个变量，被命名为生理感受适应性，反映了老年人对自己身体变化的适应性，如接受身体不如从前的事实、如何应对身体状况下降带来的困难等内容。

第七个因子包括3个变量，被命名为社会流行适应性，反映了老年人对一些新奇事物的适应能力，如获取新信息、对流行时尚的适应性等内容。

表5-2　因子方差贡献表

进一步借助LISREL 8.53程序对变量结构进行验证性因素分析，主要是使用另外一批数据来验证探索性因素分析结果模型的稳定性。模型设定潜变量为7个，模型的其他设置均使用程序的默认设置，具体的模型设置见图5-2所示。

图5-2　特征根碎石图之二

根据温忠麟等（2004）推荐的模型检验准则及拟合指数，得到模型如下拟合指数数据，样本容量为600人，χ²＝1870.28，自由度为567，χ²/d f＝3.3，NNFI＝0.90，CFI＝0.91，RMSEA＝0.062，由这些拟合指数可以认为，该模型与数据拟合良好。

考察量表的内部一致性信度（Cronbach α系数）。结果见表5-3。

表5-3　信度分析表之一

续表

由表5-3的数据可以看出，各子维度具有较好的内部一致性，但子维度生理感受适应性和社会流行适应性由于题目量太少，所以信度系数较低，需要增加部分题目。

从对问卷的结构效度与信度的初步判定可看出：（1）保证问卷编制的可靠性，首先要有坚实的理论基础，本研究在已有研究文献的基础上，根据社会适应性的定义及老年人的特点，提出了本研究的理论构想并以此作为问卷编制的基础。其次，要编制足够数量且能够较完整代表各假设结构的项目，本研究在理论构想的基础上，通过文献调查和开放式访谈获得问卷项目编制的原始资料来源，然后组织相关专业研究生在培训的基础上，根据问卷项目编制的一般原则编制了大量的初始测试项目。另外，非常重要的是应该选取有足够代表性的样本进行试测，基于这样的数据分析结果才是可信的。本研究在全国范围内，选取有代表性的几个省份，获取了1000多份测试资料，为后面的分析提供了较全面且有代表性的数据。（2）在进行探索性因素分析时，本研究使用了标准的因子结构认定方法，即bootstrap抽样分析方法，通过分析多种样本容量情形下的因子结构，及相同样本容量情形下的多次抽样因子结构分析，得出一个最稳定的因子结构模型，然后通过验证性因素分析方法验证了该模型的合理性。通过对数据分析结果因子的命名，数据基本上验证了本研究提出的结构理论假设模型。（3）从整体上看，数据支持了本研究提出的基本假设。但由于在问卷预测阶段的分析中删除了太多的题目，造成其中两个维度即生理感受适应性和社会流行适应性的题目量太少，也导致该维度信度较低。对于这种情形，应该认识到，首先需要增加部分题目以保证问卷更加可靠；另外，由于这两个维度并不严重影响本研究的基本假设，即老年人社会适应性包括3个大的方面：工作环境变化适应性、身体生理环境变化适应性及社会整体环境变化适应性，而这3个大的方面已经得到了很好的验证，即其中5个子维度分别很好地代表和说明了各自的高阶维度。尽管另外两个子维度表现不佳，但这两个子维度并不是3个大方面的核心维度。鉴于此，本研究认为该问卷还是具有很好的适应性价值。

（二）以幸福感问卷为中介的效度与信度评价(www.xing528.com)

有研究（如，Atchley，1998；Ruiz，2005）表明，社会适应与主观幸福感具有非常显著的相关，并且幸福感还可看作是评价社会适应效标关联效度的指标。针对社会适应问卷效度与信度初步评定中所发现的问题，为了进一步检验问卷的效度与信度，本研究对测试了社会适应项目与主观幸福感项目的960份问卷的数据进行了更加深入的分析。

主观幸福感问卷以三个结构为架构，即生活满意感（Satisfaction With Life，SWL）、积极情感（Positive Affection）和消极情感（Negative Affection）。通过Barlett球形检验来检验各变量之间的独立性，结果是χ²＝8725.555，自由度为253，p＝0.000，说明变量之间不是独立的，因而进行探索性因素分析是有意义的。

因素分析过程按如下方法进行：因子提取方法（即因子模型估计方法）采用主成分分析法，旋转方法采用方差极大正交旋转法。结合特征根、碎石图及方差解释量，从这些变量中提取3个公共成分，共解释总变异的49.688%。

根据大负荷决定因子命名的规则及理论解释的合理性原则，3个公共因子分别命名为：

第一个因子包括10个变量，被命名为消极情感，反映了老年人常常感到难过、沉闷、困扰、不如别人、过分担心、恐惧、生活艰难、紧张、经常忧虑等负面主观情感。

第二个因子包括8个变量，被命名为积极情感，反映了老年人感到比预期好、能实现自己的期望、满意、精力旺盛、情绪好、生活如意、生活幸福、满意等正面主观情感。

第三个因子包括5个变量，被命名为生活满意感，反映了老年人对生命价值的感悟、对老年人社会价值的评价、活着的意义、老年人生命历程感想等对生命整体的认知。

根据初步判定的结果，将社会适应性问卷删除部分因子负荷不稳定的变量（即题目）以及包含题目太少的因子，最后保留21个题目。以下的探索性因素分析和验证性因素分析是在这些保留题目的基础上进行的。通过Barlett球形检验来检验各变量之间的独立性，结果是χ2＝3872.602，自由度为210，p＝0.000，说明变量之间不是独立的，因而进行探索性因素分析是有意义的。

因素分析过程是按如下方法进行的：因子提取方法（即因子模型估计方法）采用主成分分析法，旋转方法采用方差极大正交旋转法。结合特征根、碎石图及方差解释量，从这些变量中提取4个公共成分，共解释总变异的57.623%。

根据大负荷决定因子命名的规则及理论解释的合理性原则，4个公共因子分别命名为：

第一个因子包括6个变量，被命名为生活自理适应性，反映了老年人应对日常生活中的一些问题的能力，如服药、使用电话、买东西、做家务、穿衣、吃饭等内容。

第二个因子包括5个变量，被命名为角色转换适应性，反映了老年人对自己工作角色转变的适应能力，如参加社区工作、社会公益、自己的社会价值、学习新知识等内容。

第三个因子包括6个变量，被命名为人际交往适应性，反映了老年人与他人进行交流和交往的适应能力，如与周围人相处、参加集体活动、孤独感、别人对自己评价的知觉等内容。

第四个因子包括4个变量，被命名为社会整体变化适应性，反映了老年人对社会整体变化的适应能力，如新社会观点、新社会政策、城市环境变化、社会变化步伐等内容。

考察社会适应性与主观幸福感问卷的内部一致性，信度分析结果结果见表5-4。

表5-4　信度分析表之二

由表5-4数据可以看出，各结构具有良好的内部一致性。

本研究使用LISREL 8.53程序对变量结构进行验证性因素分析，主要是使用另外一批数据来验证探索性因素分析结果模型的稳定性。模型设定潜变量为7个，模型的其他设置均使用程序的默认设置，具体的模型设置见图5-3所示。

图5-3　特征根碎石图之三

根据温忠麟等（2004）推荐的模型检验准则及拟合指数，得到模型如下拟合指数数据，样本容量为480人，χ²＝2575.91，自由度为884，χ²/d f＝2.9，NNFI＝0.94，CFI＝0.94，RMSEA＝0.063，由这些拟合指数可以认为该模型与数据拟合良好。

表5-5　结构关系路径系数（括号内为估计标准误差）

由表5-5可以看出，人际交往适应性和角色转换适应性对主观幸福感各维度具有显著的预测价值，生活自理适应性对积极情感具有显著预测作用，但预测力不如人际交往适应性和角色转换适应性，而社会整体变化适应性对主观幸福感不存在预测的价值（这也许说明老年人因人生阅历的丰富对社会整体变化相对而言本来就有着良好的适应能力）。

以幸福感问卷为中介的效度与信度评价表明：本研究所编制的社会适应性问卷和主观幸福感问卷的结构效度得到了很好的验证，问卷同时具有良好的内部一致性信度，因此这两个问卷是评价老年人社会适应性和主观幸福感的良好工具。

此外要说明的是，因素分析的结果实际上与问卷编制时所考虑的老年人社会适应的六个方面（人际交往适应性、角色转换适应性、生活自理适应性、社会整体评价适应性、社会变革适应性及行为方式适应性）基本吻合。社会变革与行为方式适应性虽然因题量太少拟合的效果不是很好，但是在本篇的统计分析中仍然用恰当的方式对老年人在这两个项目上的作答情况进行了分析，从而更深入、更充分地挖掘了宝贵的调研资料。