首页 理论教育 调查问卷的检验和完善:结构、现状、发展

调查问卷的检验和完善:结构、现状、发展

时间:2023-10-01 理论教育 版权反馈
【摘要】:换言之,极端组比较法主要是检验量表中每个题项的鉴别度。基于以上考虑,本问卷对分量表进行项目分析时,对四项子能力之于翻译教学重要性的认识程度仅进行同质性检验,而对翻译教师在四项子能力上的教学能力掌握程度分析则进行极端组比较法和同质性检验法的双重检验。

调查问卷的检验和完善:结构、现状、发展

为检验问卷设计的科学性与合理性,研究者2012年5月分别在甘肃和四川两所拥有翻译本科专业的高校进行了预调查,共回收有效问卷20份。由于调查问卷中第9题和第11题的不同题项均是围绕翻译教师教学能力所包含的四个不同子能力(双语语言能力、翻译能力、课堂设计与实施能力、反思能力)来设计的,因此第9题实际包含4个分量表:双语语言能力重要性认识量表(题项1–5)、翻译能力重要性认识量表(题项6–12)、课堂设计与实施能力重要性认识量表(题项13–39)、反思能力重要性认识量表(题项40–44)、第11题也包含4个分量表:双语语言能力掌握水平量表(题项1–5)、翻译能力掌握水平量表(题项6–12)、课堂设计与实施能力掌握水平量表(题项13–39)、反思能力掌握水平量表(题项40–44)。预调查问卷回收后,首先根据与调查对象的访谈,对问卷内容进行定性分析,对个别题目的措辞、顺序、答卷说明和格式进行了必要的调整与修正,然后重点对问卷中所涉及的8个分量表进行项目分析、效度检验和信度检验,以作为编制正式问卷的依据。

(1)预调查问卷项目分析

量表项目分析是为检验量表中个别题项的适切性和可靠程度,其结果可作为个别题项筛选或修改的依据,以验证其是否有必要删除。

1)项目分析设计

对量表进行项目分析一般包括极端组比较法和同质性检验法。极端组比较法主要是根据测验总分区分出高分组和低分组受试者后,再求出高、低两组受试者在每个题项的平均数差异的显著性,以此作为问卷个别题项的决断值——CR值,其原理与独立样本t检验相同。换言之,极端组比较法主要是检验量表中每个题项的鉴别度。一般而言,鉴别度指数(或独立样本t检验结果)在3.0以上时,该题项具有较佳鉴别度。同质性检验法主要用于检验量表个别题项与量表所要测量的某种相同构念或潜质之间的同一性,检验方法有题项与量表总分的相关性检验、量表内部一致性信度检验、题项在量表中的共同性和因素负荷量检验等。一般而言,同质性较佳的题项与量表总分的积差相关系数要达到0.4以上,校正题项与总分的相关系数也要在0.4以上,题项删除后量表的信度系数(α值)应小于量表原先的信度系数,题项在提取共同因素的因素负荷量要在0.45以上(此时该题项的共同性不低于0.2)。2

极端组比较法的前提是受试者测验得分的分布为正态,本问卷第9题所含4个分量表旨在测量翻译教师对双语语言能力、翻译能力、课堂设计与实施能力、反思能力四项子能力之于翻译教学重要性的认识,经过前一章的理论分析,本题所含各项子能力在理论上均具有较高的重要性,因而实际测量的结果很可能为偏正态分布,翻译教师对各项教学知识和技能重要性的认识较为一致,不符合通过极端组比较法检验题项鉴别度的基本前提。同时,由于翻译教师教学能力掌握程度在理论和实践上均有高低之分,因而其对教学能力各项子能力及其所含各项知识和技能的掌握程度理论上应为正态分布,可以进行极端组比较法来检验每个题项的鉴别度。

基于以上考虑,本问卷对分量表进行项目分析时,对四项子能力之于翻译教学重要性的认识程度仅进行同质性检验,而对翻译教师在四项子能力上的教学能力掌握程度分析则进行极端组比较法和同质性检验法的双重检验。

2)项目分析过程与结果

设计好问卷量表项目分析方案后,本研究运用社会科学统计分析软件SPSS17.0对上述八个量表分别进行项目分析,并将各种分析结果汇总如表4-1,4-2,4-3,4-4,4-5,4-6,4-7,4-8。

表4-1:“双语语言能力重要性认识量表”项目分析摘要

alt

**P<.01

.736为双语语言能力重要性认识量表信度检验(内部一致性)α系数;#表示未达标值


由表4-1可以看出,经多种方式同质性检验后,双语语言能力重要性认识量表中第903题项在5项指标中有4项不合标准,必须将其删除;其余题项各项指标均达标准,需全部保留。

表4-2:“翻译能力重要性认识量表”项目分析摘要

alt

**P<.01

.771为翻译能力重要性认识量表信度检验(内部一致性)α系数;#表示未达标值


表4-2表明,经多种方式同质性检验,翻译能力重要性认识量表中第910题项5项指标均未达标准,因而此题项必须删除;其余题项各指标均达标准,需全部保留。

表4-3表明,经多种方式同质性检验,课堂设计与实施能力重要性认识量表中第918和第923题项分别有2项指标均不合标准,可以考虑将其删除;第939题项5项指标中有4项不合标准,必须将其删除;其余题项各指标均达标准,需全部保留。

表4-3:“课堂设计与实施能力重要性认识量表”项目分析摘要

alt

alt

*P<.05

**P<.01

.931为翻译课堂能力重要性认识量表信度检验(内部一致性)α系数;#表示未达标值

表4-4:“反思能力重要性认识量表”项目分析摘要

alt

alt

**P<.01

.671为反思能力重要性认识量表信度检验(内部一致性)α系数;#表示未达标值


表4-4表明,经多种方式同质性检验,反思能力重要性认识量表中第940题项和第941题项虽各有一项指标未达标准,但其余四项指标均达标准,因而此两题虽不甚理想,但也可以保留;其余题项各指标均达标准,需全部保留。

表4-5和表4-6共同表明,经极端组比较和同质性检验双重检测后,双语语言能力掌握水平量表和翻译能力掌握水平量表所有题项各项指标均达标准,需全部保留。

表4-5:“双语语言能力掌握水平量表”项目分析摘要

alt

alt

**P<.01(www.xing528.com)

.898为双语语言能力掌握水平量表信度检验(内部一致性)α系数

表4-6:“翻译能力掌握水平量表”项目分析摘要

alt

**P<.01

***P<.001

.917为翻译能力掌握水平量表信度检验(内部一致性)α系数

表4-7:“课堂设计与实施能力掌握水平量表”项目分析摘要

alt

alt

**P<.01

***<.001

.974为翻译课堂能力掌握水平量表信度检验(内部一致性)α系数;#表示未达标值


表4-7表明,经极端组比较和同质性检验双重检测后,课堂设计与实施能力掌握水平量表中第1137题项6项指标中有4项不合标准,必须将其删除;第1139题项虽有1项指标未达标准,但其余5项指标均合格,因而可以考虑将其保留;其余题项各指标均达标准,需全部保留。

表4-8:“反思能力掌握水平量表”项目分析摘要

alt

alt

**P<.01

***P<.001

.905为反思能力掌握水平量表信度检验(内部一致性)α系数;#为未达标值


表4-8表明,经极端组比较和同质性检验双重检测后,反思能力掌握水平量表中第1140题项虽有1项指标未达标准,但其余5项指标均合格,因而可以考虑将其保留;其余题项各指标均达标准,需全部保留。

③项目分析后的问卷改动

根据项目分析的结果,应该删除调查问卷第9题中第903、910、918、923、939题项以及第11题中第1137题项;同时为保证进一步分析翻译教师对教学能力各项知识和技能重要性的认识与其教学能力现状之间的相关性及差异性,将第9题中与第1137题项对应的第937题项以及第11题中与第903、910、918、923、939题项对应的第1103、1110、1118、1123、1139题项也同时删除。

(2)预调查问卷的效度检验

项目分析仅是量表检验的第一步,根据项目分析结果删除量表中部分题项后,还需对剩余题项进行效度检验。效度指问卷的有效性,即问卷能够准确调查出所要调查的内容的程度。效度越高表示调查结果越能显示出所要调查内容的真实特征。假如要调查翻译教师的教学能力高低,问卷中的题目却是关于其教学信念的,此份问卷的效度就值得怀疑。因此,为保证问卷调查的有效性,在设计调查问卷时必须注意问卷的内部效度。

在问卷效度检验中,最常见的方法是通过因素分析检验问卷的建构效度。然而这种方法对样本数量有特殊要求。一般认为,如要进行因素分析,则预调查样本数最好为量表题项数的5倍。本问卷经项目分析删除不合格题项后,部分量表的剩余题项仍在20项以上,因此进行因素分析至少需要100人左右的样本。鉴于本调查对象的特殊性,即翻译本科专业翻译教师散布于全国各地40多所高等院校中,且每所院校的翻译教师人数较少,在问卷预调查阶段从这样分散的总体中找到100名左右的样本在实际操作中较为困难。事实上本研究在预调查中仅收到有效问卷20份,不宜通过因素分析方法检验问卷量表的建构效度。

鉴于上述实际困难,本问卷效度检验采用专家效度的方法。首先在问卷设计时尽量考虑问卷编制在语言和形式方面的一般性原则,特别是重点考虑每道题目和调查问题之间的逻辑关系。其次,在前一章理论阐述的基础上,严格按照本研究提出的翻译教师教学能力结构和翻译教师教学能力标准编制问卷量表,并将编制好的问卷请2位翻译教学研究专家、3位翻译实践工作者和6位翻译本科专业翻译教师进行审阅,然后根据他们反映的意见,修改了问卷“基本情况”中的部分选项,并删除了一些没必要的题目;同时结合项目分析结果对量表各题项内容表述做进一步的修改与完善,修正了部分不适切的词句,最终使问卷达到了专家效度的基本要求。

(3)预调查问卷的信度检验

根据问卷设计的一般程序,对预调查问卷量表进行项目分析和效度检验并删除不适合题项后,还需要通过信度分析对剩余题项做进一步检验。信度指测验或量表工具所测得结果的稳定性及一致性程度,量表信度愈大,其测量的标准误差愈小。

信度分析主要是对量表各层面与总量表的信度进行检验。本问卷共含两个总量表——翻译教师教学能力重要性认识量表(第9题)和翻译教师教学能力掌握水平量表(第11题),每个总量表均含四个分量表(双语语言能力分量表、翻译能力分量表、课堂设计与实施能力分量表、反思能力分量表),因而需要对不同量表总信度及其所含各分量表信度进行检验,如达到统计学的标准,可将量表中全部题项保留,如有不达标者,应考虑重新修订量表或增删题项。综合不同学者的观点,在社会科学研究中,总量表的内部一致性α信度系数最好在0.80以上,在0.70至0.80之间也算是可以接受的范围,如果在0.90以上就算非常理想,表明信度很高;分量表的内部一致性α信度系数最好在0.70以上,在0.60至0.70之间也可以接受使用,如果在0.80以上就较为理想,表明信度很高。3

通过分析,本问卷两个量表及其分量表α信度系数如表4-9。

表4-9:预调查问卷量表信度分析

alt

分量表一、二、三、四分别为双语语言能力分量表、翻译能力分量表、课堂设计与实施能力分量表、反思能力分量表。


由表4-9可以看出,本问卷所含两个量表及其分量表信度系数中,反思能力重要性认识量表的α信度系数为0.671,未能达到0.70以上的理想标准,但也在可以接受使用的范围之内;其余各分量表及总量表的α信度系数均在理想标准之上,有些甚至在0.90以上,达到非常理想的标准。因此可以认为经项目分析后的预测问卷测得结果的稳定性及一致性程度较好,可以作为正式问卷展开进一步调查。

(4)正式问卷的生成

经过上述一系列检验与修改,最终产生“翻译教师教学能力调查问卷(正式问卷)”,详见附录二。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈