二、使用二手数据进行统计分析的界限
在国内、国外都可以看到这样一些研究成果:作者是使用二手数据进行统计分析的,但是并不了解当初的调查者究竟提出了哪些相关假设,也不清楚人家究竟为什么要如此设计整个问卷(例如,为什么包括这些提问而不包括那些),只是从中抽取了两个自己感兴趣的变量(最多再加上人家原来设计的一些变量),就进行相关分析。倘若碰巧得到了“有意思的”统计结果,就作为自己的发现来发表。
这绝不是“探索式研究”,也不是“数据发掘”,而是“玩统计”,是“替人假设”,是社会研究的大忌。它们不仅无法实现任何意义上的“探索”,而且会严重误导自己与读者,贻害无穷。
其一,从调查内容来看,如果原设计者没有提出这样的相关假设,那么他就不会去包含与此有关的各种变量。因此,“二手分析者”无论从中抽出哪两个变量来进行分析,都等于是自己事后提出了新的相关假设。这就需要调查那些与这个新相关假设有关的情况,否则就无法检验这个后设的相关假设。因此,“二手分析者”即使把人家原来的全部变量都纳入自己的分析,其结果也仍然是在因素残缺的条件下强行统计出来的,其价值与意义仅仅在于可能给新的相关假设提供一些参考。
其二,从提问的设计来看,“二手分析者”必须论证出原始变量的设计符合自己进行二次分析的需要,否则就不应该进行二次分析。例如,原设计者如果只准备考察变量A、变量B与变量C之间的关系,那么他一定会根据自己的相关假设,把变量A、B、C设计成自己需要的形式,例如有特定的时空限制,都是两极选项(是与否)等。也就是说,A、B、C三个变量的这种形式,仅仅适用于假设“A、B都与C有关系”这样的原始设计。如果“二手分析者”直接用这个设计统计分析“A与B之间的关系”,那么就会出现下列问题:你怎么知道变量A与变量B现有的时空限定与两极选项的形式,就一定能够检验自己的新假设呢?也许,A与B都应该是五级分类才能够进行两者之间的相关分析。可是原始数据是无法更改的,结果第二位分析者就不得不“强行统计”,得出一个非常可能是错误的结果。
总之,笔者希望用极端的说法来引起讨论:使用二手数据,只能有两种用途。
第一,遵循该数据原有的假设—检验的方向,通过对原有变量的转换、重新分类、派生等技术手段,发现其中所蕴涵的原调查者没有发现的结果。这其实就是进一步发掘数据,说得不好听一些,这其实只是为原调查者拾遗补阙。
第二,如果要脱离原有的相关假设进行任何一种统计分析,那么务必首先论证清楚这个二手数据为什么能够对一个后来提出的相关假设进行统计分析,然后应该说明二次统计分析的一切结果,都只有在原始设计的框架之内才能够存在,这绝不是说能够检验这个后来提出的相关假设。
笔者愿意相信大多数使用二手数据进行统计分析的学者都是非常清楚这一点的。笔者所希望的仅仅是大家都能够锦上添花,从方法论的角度提高论述的层次。
陈膺强.应用抽样调查.香港:商务印书馆(香港)公司,1993
Joseph Maxwell.Decisions About sampling.In:Qualitative research design:an in-teractive approach.Thousand Oaks,Calif:Sage Publications,1996
[美]布莱尔,扎加.抽样调查设计导论.7版.重庆:重庆大学出版社,2007
风笑天.这样的调查能不能反映客观现实?——对一次大型社会调查的质疑.社会,1987(5)
风笑天.社会学研究方法.3版.北京:中国人民大学出版社,2009
[美]弗洛伊德·福勒,曼吉奥诺.标准化调查访问:如何实现访问员相关误差最小化.重庆:重庆大学出版社,2009
[美]罗希,李普希,弗里曼.评估:方法与技术.重庆:重庆大学出版社,2007
袁方.社会研究方法教程.北京:北京大学出版社,1997(www.xing528.com)
风笑天.现代社会调查方法.武汉:华中科技大学出版社,2005
水延凯等.社会调查教程.4版.北京:中国人民大学出版社,2007
[美]艾尔·巴比.社会研究方法.11版.北京:华夏出版社,2009
[美]利迪,奥姆罗德.实用研究方法论:计划与设计.北京:清华大学出版社,2005
[美]米勒,萨尔金德.研究设计与社会测量导引.重庆:重庆大学出版社,2004
G.B.Willis.Cognitive interviewing:a tool for improving questionnaire de-sign.Thousand Oaks,Calif:Sage Publications,2005
William Foddy.Constructing questions for interviews and questionnaires:theory and practice in social research.New York:Cambridge University Press,1993
潘绥铭.性社会学研究及其应用.见:李强.应用社会学.北京:中国人民大学出版社,1995
【注释】
[1]附带一说,还有一种对于学者的贬低:仅仅说他的“观点”,却忽视他的论据、逻辑与分析方法。这种贬低有时也发生在某些学者自己的表述中。
[2]我们第一次调查的设计,是6个人各自累计花费了一年半的工作时间来完成的,第二次调查仅仅是修改和补充问卷,7个人就共同花费了累计6个月的时间。
[3]参见潘绥铭等:《问卷调查:设置“开放题”是一种失误》,载《社会科学研究》,2008(3)。
[4]参见潘绥铭、黄盈盈:《反思“观念调查”》,载《学术界》,2009(2)。
[5]越是抽象的观念,人们对它的理解越容易出现分歧和差异。当然,也存在一些例外。当某类抽象观念是人所共知的,已经成为社会共识的时候,我们可以直接用它来提问,比如“尊老爱幼”、“为人民服务”、“社会主义”等概念。但是,另外一些抽象观念是不可以直接用来提问的,人们对这些观念的看法是仁者见仁、智者见智,很难有统一认识,用它们来直接提问不足以收集到调查者希望得到的信息。
[6]对这一问题的讨论,不管坚持何种取向,学者们的出发点都在于“从被访者那里获得真实的信息”,这涉及何谓真实、判断真实的标准为何的认识论问题。从方法论的角度来看,这涉及访谈员和被访者之间互动深度和层次的问题。
[7]芝加哥大学社会学系的William Parish教授对此好评有加。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。