心理学质化研究的评估及研究中应重视的问题

五、心理学质化研究的评估

量化研究的评估指标一般是以信度和效度来加以衡量的。早期的质化研究者回避使用信度、效度这样的概念，以示质化研究与量化研究的区别，后来，质化研究学者发展了自己的一套评估概念及指标体系，如“信任度”（trustworthiness）、“真实度”（authenticity），以有别于“validity”、“reliabity”（Goetz Lecompte 1984；Skipper Allen，1993）。有的学者认为，质化研究可以使用外部效度、内部效度、信度这些概念，但不能采用量化研究中这些概念的定义、分类和评估方法（Merriam，1988）。著名方法论学者马克斯韦尔（Maxwell）就发展了一套评估质化研究效度的分类指标体系。他把质化研究效度分为描述效度（descriptive validity）、解释效度（interpretive validity）、理论效度（theoretical validity）、评价效度（evaluative validity）、推广效度（generalizatinal validity）。描述效度是指研究者对研究对象进行描述的准确度，它要求研究者所描述的事物是具体的、直观的、可见可闻的。影响描述效度的主要因素有：（1）观察记录手段，研究情境的干扰；（2）研究者在收集、分析资料时有意无意地遗漏掉与研究主题有关的信息；（3）研究者与被研究者之间的相互关系。解释效度是指研究者理解再现被研究者对事物所赋予的意义的真实程度，它要求研究者必须从被研究者的角度出发，再现研究对象的文化规范、思维倾向、行为方式，从被研究者的语言、行为、情绪中去构建被研究者的意义世界。研究者在确定解释效度时，必须区分被研究者口头上的倡导理论（espoused theory）和实际行动中的使用理论（theory-in-use），因为这二者有时是相互矛盾的。理论效度是指研究者所建立的理论是否能如实地反映所研究的现象，它反映的是理论与实际的吻合度。评价效度是研究者对研究结果所做的价值判断的真实程度，一般来说，研究者在研究之前所存在的个人陈见、价值偏好、思维倾向、已有的理论框架等都会影响评价效度。推广效度是指某一质化研究的结果能否推及类似的研究群体和研究情境。质化研究的推广效度不同于量化研究的外部效度，质化研究采取的是目的抽样而不是随机抽样，其目的不是通过样本的研究而推广到总体的一般情形，而是力图对某一社会现象进行深入细致的考查，以期真切地再现本质，这就决定了质化研究的抽样应根据研究的性质抽取那些典型的、最能提供大量信息的被试。一般来说，研究的问题越深入到本质层面，就越具有普遍性意义，推广效度也就越好，因为对问题本质的揭示可以为类似情境下的现象提供依据。如果这些依据在类似的情形下得到认同，研究便具有了推广效度。因而质化研究的推广效度是一种内在的推广效度，而不是表面的、在研究群体数量意义上的推广效度。

多数学者认为质化研究意义上的“信度”概念，不符合质化研究的实际情况，因为在质化研究中讨论信度没有意义（Lincoln＆Guba，1985；Harris，1993）。质化研究是一种主位（emic）研究，它有别于量化研究的客位（etic）研究。在质化研究中，研究者作为研究工具，重视研究者本人的背景以及他与被研究者之间在当时当地的关系对研究结果产生的影响，因此即使是同一问题、在同一地点、就同一人群开展研究，由于研究者与被研究者之间的状态不同（研究中双方要不断重新建构自己），也会使研究的结果有所不同，这样，考查信度就失去了意义。当然也有人反对这种对信度的绝对评价，他们认为尽管绝对的可重复性是不存在的，但在相同的情境和相同的研究模式下，研究事件的可重复性还是或多或少地存在，尹（Yin）强调在研究中作详尽的收集、分析、描述有助于可重复性程度的增加（Yin，1989）。

在一些学者致力于质化与量化研究评估方法的差异时，另一些学者（Krathwihl，Miless＆Huberman，Goetz＆LeCompte）则力图探明两种评估体系之间的关联。量化研究学者经常以研究的内部信度、外部信度、内部效度、外部效度指标体系来评估研究的质量，迈勒斯（Miles）和哈伯曼（Huberman）则发现，尽管一些质化研究评估学者回避使用前述的概念，但他们的评估概念在一定程度上是与量化研究的评估概念相对应的，并将相对应的概念进行列举，如表2-3所示。

表2-3　量化研究与质化研究评估概念比较

迈勒斯和哈伯曼认为，尽管量化研究与质化研究的概念在表述方式上存在差异，但其基本内涵具有一定的融通性。量化研究的外部信度重在强调研究的可重复性。或研究结果的可复制性。由于质化研究是在自然的环境下进行，要想实现实验室控制的那种完全可重复性是不可能的，但在相似的自然条件下，实现部分的可重复性也是可能的，这种部分的可重复性不是数量意义上的概念，而是指能体现实质性与共性的，反映在有说服力的研究程序中的一种可重复性判断，这就是确证性的基本内涵。这就是说，确证性依赖于某一研究以足够的细节说明使后来的研究者重新构建出实质性与共性的潜在可能性。量化研究的内部信度通常指在给定相同的条件下，研究者对资料的收集、分析、解释在多大程度上能保持一致。质化研究除重视两个以上的研究者在对某一事件的观察和对某一资料的解释上是否达成一致外，还强调多方法资料来源（如观察、访谈记录、文献等）的相互印证，这就是资料间的依赖性。此外，还重视资料数量的充足性，以使研究者能有充分的信心，确信别的研究者从资料中慎审重要概念的可能性，即慎审性。量化研究中的内部效度指研究结果能被有把握精确解释的范围，这种精确解释依靠的是实验控制下的因果推断。质化研究也重视研究结果的逻辑分析，但由于在自然条件下无法控制变量的变化，加之研究的周期较长，各种偶然的因素可能随时加入，这就增加了解释的困难性，但另一方面，由于研究者长期置身于相同的情境，也有助于更好地理解各种来源的信息以及事件发生的内在关系，以获得一种真实性的有关内在本质联系的解释，这样的解释对研究者来说是一种发自内心的真切逼真解释，对读者来说，则在获得真切感受的同时，坚信了其可信，这就是可信度。可信度、真实度的获得有赖于大量详细的描述资料和水到渠成的逻辑解释，从这个意义上说，马克斯韦尔所说的描述效度、解释效度、理论效度、评价效度都可以归入真实度/可信度的范围。量化研究的外部效度是指研究结果能被推广到的人群范围和条件程度，这种推广是由群体中部分个体的特征来推广至群体中所有个体也具有该特征，质化研究不关心这种普遍性的推广（因为这种推广是以掩盖个体的独特性为代价的），但它也关心一种可迁性的推广。所谓可迁性的推广是指被描述研究结果的特性使其他的研究者把这一研究结果运用到同类对象或相关知识领域的广泛程度。此外，质化研究也重视适合性的推广，它是指研究者所构造的理论、研究程序、研究结果对其他研究者在相关研究中的理解和认可程度，显然，这是由后来的作为读者的研究者在判定其推广价值时产生的，因而这是一种由读者后设性判断建立的一种外部效度，从另一个角度来看，也可认为质化研究者把适合度留给了读者，抑或说读者有责任建立适合性的外部效度，以作为类似情况下研究经验判断的参照标准。

质化研究评估除了讨论与量化研究的关联外，近年来也研究了自身的独特评估维度。在质化研究中，所谓研究的确证性（confirmability），是指研究的结论是否由研究对象本身和研究情境得出，强调一项研究由他人来复制有多大的可能性，以最大限度地避免由研究者本人带来的偏差。为此，在研究中应重视以下几方面的问题（Guba＆Lincoln，1981）。

（1）研究者应详细说明一项研究的方法与程序，让读者获得研究中一幅完整的图景，特别是研究报告背后内幕的东西。

（2）让读者清楚地看到一项研究从资料搜集、简化、展示到结论的引出是一个连贯的过程。

（3）研究者将研究的方法和程序详尽地记录和保存下来，便于后来的稽核与追踪所用。

（4）研究者能够觉察到自己的研究预设、价值观、研究偏差可能对研究产生的多种影响。

（5）研究者在研究中能够意识到其他相竞争的研究结论或研究假设，并能思考这些结论是否有其合理性。

（6）研究者能保留原始资料，以供日后其他人员再分析。

质化研究的可靠性、可审核性是指某一研究由不同的时间、不同的研究者来做时，研究步骤是否具有合理的一致性。该评估维度特别重视“历时的可靠性”和“共时的可靠性”。“历时的可靠性”是指经过一段时间以后，前后研究或观察、调查的稳定性；“共时的可靠性”是指同一时间内各研究或观察、调查间的稳定性。针对这一评估维度，在研究中应重视以下几个方面。

（1）要有清晰的研究问题，研究问题要有稳定性、可操作性，且研究设计适合研究问题。

（2）研究发现要跨越各资料来源（时间、情境、报告人），研究问题在历时、共时方面都具有时间的跨越性，并显示有意义的相似性。

（3）在研究问题所涉及的时间、地点、人物等几个维度方面，研究者是否作了更大范围的资料搜集，并表现出一致性。

（4）一项研究最好有多名田野工作者组成，在对他们的资料搜集方案与结果作多重比较后，是否表现出很好的一致性。

（5）当获得研究的初始资料后，研究中的资料编码最好有多位研究者同时进行，看其是否有好的一致性。

（6）研究者在现场接触性参与、介入性访谈中的角色、地位是否有详细说明并作相应比较。

质化研究的真实性、逼真性是指研究结果符合“真实世界”的评估标准。它要回答一系列内在有效性问题，如研究发现合理吗；对研究对象和读者而言，研究发现是真实的吗；对于感知到的现象是否作了真实的描述；等。马克斯威尔认为，质化研究的真实性、逼真性评估不同于量化研究中古典测量学的内容效度、预测效度、聚合效度、区分效度等度量方式，其有效性主要在理解的有效性，具体表现为主要重视以下理解的有效性。（1）描述理解有效性。它是指理解某情境内外发生了什么的有效程度，是否有详细描述。（2）诠释理解有效性。它是指所理解的事物对于当事人意义的有效程度。（3）理论理解有效性。它是指理解概念及其相应行动意义的有效程度。（4）评估理解有效性。它是指理解行动意义的价值判断的有效程度（Maxwell，1992）。提高研究的真实性应重视以下方面。

（1）提高田野笔记、研究报告中关于研究问题、研究情境、研究人物、研究事项等的描述详实程度。

（2）提高研究报告对读者的说服力，使读者身临其境，重现当事人的心路历程，能让读者感同身受。

（3）以不同的方法与资料来源对研究进行三角互证，尽可能提出一贯性的解释。(www.xing528.com)

（4）即使报告人认为研究结论有偏颇，也应对其偏颇进行合理的解释。

（5）对相竞争的理论能够作出解释，指出各自研究的视角与视角下的多样性理解。

（6）若研究出现负面证据，也不应回避负面证据，而应重视负面证据，并依据相应的情境作出理解性解释。

（7）从研究问题引出概念构架，或由概念构架引出研究问题，最终要进入探索的经验领域，研究者要清楚地说明这一确定命题和假设依据的研究脉络。

（8）研究报告能给读者产生一种整体感，能够感受到研究脉络中的时间顺序和要素结构。

质化研究的适合性、可迁性是指研究发现在其他情境中的可迁移性和可概括性。福斯顿（Firestone）认为，可概括性区分为三个层次：（1）从样本推论到总体的可能性及相应程度。（2）所研究资料与相关理论的可联结程度、可结合程度。（3）由一个个案类推到其它个案的相同性、相似性。瑟菲德（Schofield）认为，更大的迁移性包括三个层次：（1）研究类推到其他真实情境中的适合性、可迁性。（2）研究类推到其他类似的社会过程中的相符性。（3）研究类推到其他理想的个案中的契合性。马克斯威尔较明确地总结了质化研究的适合性、可迁性，以此区别于量化研究外在效度的准确内涵。质化研究评估最重要的是研究诠释的意义与理论的适合性，为了寻求更强的解释力，研究者将研究解释在理论上的联结进一步发展到其它探究的个案资料中（Maxwell，1992），对此应重点考虑以下问题，以求得研究评估的高质量。

（1）研究者在研究设计时就对研究类推的合理范围与研究边界作出界定，包括样本选择的变异性；研究时间、地点、历史背景的可类推性；研究要素结构的可类推性等。

（2）在研究报告中有“详细的描述”，尽可能让读者判断该类发现推及其它情境的可能性、适切性。

（3）对最初选择样本的特征描述要尽量完整，以便与其它样本进行比较，进而判断其适切性。

（4）研究所描述的过程和结果在揭示特殊性的同时，也要善于确定其普遍性，便于连接情境间的普遍性问题。

（5）要强化研究报告的经验描述与读者自身经验相一致的研究意识，以达到研究的经验描述与读者经验的“视界融合”。

（6）确立当前研究与先前研究的比较意识，尽力使该研究与先前研究有关联、相一致，甚至相矛盾，并进一步厘清其背后的依据。

质化研究除了前述的四个维度外，近年来方法论学者又对质化研究的应用性和行动导向性进行了探讨。林肯认为一项好的质化研究，除了前述研究的周全性外，在研究中与研究后应加强参与者与利益相关人士的行动能力，使研究能代表相关的利益，尽力促成协商机制（Lincoln，1990）。帕特也认为，一项评估报告是否有效性的终极检验标准是要看决策者、使用报告者的反应如何，应努力促成经理人、企业顾问、政府顾问经常依赖质化研究（Patton，1990）。除了前述的有效性外，研究者和评估者还应关注，一项研究对于参与者、读者意味着什么，即对实际行动的意义价值，马克斯威尔将其称为“评估效度”、“实用效度”。对此，他认为在研究中应努力追求以下几个目标。

（1）研究报告应尽可能让接触或使用研究报告的人可接触、可阅读、可理解，并产生共鸣。

（2）对读者或其他使用者来说，研究发现是否与他们“尚在酝酿中的假设”产生碰撞，并引导下一步的行动。

（3）研究所提供的可用知识能提升读者洞见问题的意识，引起自我理解，提出相关政策并引导相应行为，提出区域性改善问题的建议并采取相应行动。

（4）研究的某些结论，能催生和导致一定的行动。

（5）所采取的行为真正有助于解决具体问题。

（6）采用研究结论的人能体验到一种能力增加的感觉，能增强自己把握生活的能力。

（7）获得研究结论的人能习得或发展出新的能力。

（8）研究报告中尽可能指出研究者的价值观或伦理观，以与读者相应的价值观或伦理观产生碰撞。

总的来看，质化研究结果的评估方法有其独特之处，它与量化研究的评估标准既存在相当的差异，也有相通之处，这就需要我们在评估时既要关照其共性，又要重视其各自的独特性与差异性。

【注释】

[1]国内学界对“定性研究”这一概念定义宽泛且没有确切内涵，通常将非定量的一切研究方式包括思辨、思考、看法、构思、解释等都划入定性研究的范畴，这些研究方式通常是个人的观点、想法和感受，并没有系统地收集和分析原始资料。