用户生成性学习资源质量评价研究

本书在参考前人研究成果的基础上，将用户生成性学习资源的质量评价框架分为三个维度：对象维度、指标维度和方法维度。对象维度主要是对质量评价的主体对象——用户生成性数字化学习资源进行进一步考察，明确其内容表现形式和所使用的背景；指标维度主要是构建资源评价的指标体系，并对各级指标进行描述；方法维度主要是评价时所采用的方法与工具。具体如下：

（一）对象维度

用户生成性学习资源从其内容外在表现形式来看，主要可以分为视音频、图片、应用程序和文档四大类，不同内容形式的资源可以应用到不同的学习情境中，具体见表7－1。

表7－1　用户生成性学习资源的内容分类及描述

续表

按照其生成背景，又可以将其分为“Pull式资源”和“Push式资源”。“Pull式资源”指用户对资源内容提出需求，其他用户按照使用者的具体需求贡献其所需要的资源。以雅虎知识堂为例，用户根据个人的需求对需要解释的问题或想获得的资源内容进行发问，由具有相关知识或资源的用户来作答，其过程一般可归纳为提出需求、内容贡献、内容下载、内容评价等。“Pull式资源”以用户需求作为驱动，以互动问答作为生成形式。而“Push式资源”主要指用户主动去贡献自己的知识内容，主动去创作资源，其他用户对资源内容进行消费或继续对该内容进行编辑和完善。代表性平台有博客、网络百科全书等。

（二）指标维度

在用户生成内容的质量评价指标设置研究方面，Zhu Z等人以社会化问答网站生成的互动性资源为例，提出了一个11维度的评价指标体系，依次为：信息量（Informativeness）、合法性（Politeness）、完整性（Completeness）、可读性（Readability）、相关性（Relevance）、简洁性（Conciseness or Brevity）、可信性（Truthfulness）、详细度（Level of Detail）、原创性（Originality）、客观性（Objectivity）、创新性（Novelty）。Knight S和Burn J提出了一个更为详细的信息质量评价指标体系，见表7－2。

表7－2　Knight S和Burn J提出的信息质量评价指标体系^[16]

维基媒体基金会（Wikimedia Foundation）认为一个好的维基百科文档应具备如下特征：易懂（Understandable）、清晰的结构（A Clear Structure）、范围适度（Balanced Coverage）、内容中立（Neutral Content）和可信的参考文献（Reliable Sources）。

基于对用户生成性学习资源质量的多维理解，本书从多个层面分析用户生成性学习资源质量的特征，尝试提出如下的质量评价指标体系（见表7－3），主要包括资源内容、资源组织形式、资源支持系统和资源使用绩效四个方面^[17]。

表7－3　用户生成性学习资源质量评价的指标体系

1.基于资源内容的评价指标

对用户生成性学习资源内容的评价是从资源内在的质量出发的评价，是最根本的、适用性最广的一种评价维度。主要包括准确性、完整性、创新性、教育性、知识性和相关性6个指标。

准确性是指资源内容本身反映所属知识点或知识点属性的客观程度，资源创作人员不能带有个人偏好来创作数字化学习资源；完整性是指数字化学习资源内容必须兼具广度和深度；创新性是指资源内容是否是新颖、独创的并且能及时更新，既要判断资源内容的独创性，又要判断资源内容的时效性；教育性是指资源内容符合学习目标和教学任务的要求，能够对学习者的学习与实践进行引导，对学习者开展自主学习和探究性学习进行支持^[18]；知识性是指资源内容是否包含丰富的学科专业性知识；相关性是指资源内容与学习者需求的匹配程度，强相关性意味着目标学习者能及时获得学习资源，并且资源与学习者的学习目标和学习需求是紧密相关的。

2.基于资源组织形式的评价指标

资源内容是通过一定的形式来组织、表达和呈现的，让用户可以方便地获取和利用。因此，资源组织形式的好坏在某种程度上能反映出数字化学习资源质量的高低，主要包括易用性、精简性、标准化、艺术性和可重用性5个评价指标。

易用性包含两个方面的含义，一方面是指资源在表达方式上容易理解，另一方面是指资源在操作使用上比较方便、导航方式比较清晰；精简性是指资源的组织方式简单明了，又能很好地被用户存储和传输；标准化是指资源必须符合国内外数字化学习资源开发与建设的技术规范和标准，标准化是资源能够被众多用户共享的必要保证；艺术性是指资源应具有良好的人机交互界面，能够形象生动地将内容展示给学习者，以吸引学习者的注意力，同时能引起学习者学习的兴趣^[19]；可重用性是指资源可以被重复使用，包括不同时间、不同地点、不同使用者和不同使用情境等。

3.基于资源支持系统的评价指标

数字化学习资源必须借助相应的资源支持系统才能完整有效地组织起来并被使用。用户生成性学习资源的支持系统主要是指资源生成所依托的网络平台。该平台性能的好坏是衡量资源附加质量高低的重要标准，主要有可访问性、快速响应性、可靠性、互操作性等几个指标。可访问性是指学习者能够方便快捷地对所需的学习资源进行检索与获取。资源支持系统应以用户为中心，在界面上比较友好的同时具有一定的交互性。快速响应性是指系统反应敏捷，能够及时处理用户要求，以最快的速度提供资源内容检索和相关服务。可靠性主要指整个资源支持系统具备稳定性和安全性。稳定性是指系统能长时间有效运行，不会出现故障；安全性是指系统具备风险防御能力，能对外界的非法操作和篡改进行预防和防御^[20]。互操作性是指两个不同的资源平台之间能够互联并实现资源共享。互操作性是不同资源支持系统之间实现资源共享的重要衡量指标。(https://www.xing528.com)

4.基于资源使用绩效的评价指标

资源使用绩效是从用户角度出发评估数字化学习资源的质量。使用绩效不仅可衡量在资源使用过程中产生的学习效果及社会效益，还能找出资源内容与用户期望之间的直接差距。资源使用绩效主要有适量性、利用率和价值增值性等几个指标。适量性是指学习资源的数量比较适当，如果数量过多，会增加对资源搜索的难度；如果数量太少，用户无法满足实际学习的需求。因此，需要合理设置资源的数量和规模，以避免信息冗余和重复建设^[21]。利用率是考察资源实际效用的直接指标，主要涉及系统的流量、点击率、用户访问次数和下载次数以及浏览时间等统计指标。价值增值性主要用来衡量资源给学习者带来的学习效益和社会效益的总和。学习效益可以通过学习评价的方式来衡量；社会效益则必须同时从整个社会经济的角度来考虑它所产生的短期效益和长期效益。

（三）方法维度

用户生成性学习资源质量的评价方法主要包括自动监测、同行评议和用户评价三类。其中自动监测主要是针对资源语法类质量进行监测，比如，对资源文本的标点和拼写、句法和语法的正确性、视频的清晰度、同步性、饱和度等指标进行监测，同时还应包含一些基于关键词和标签的自动监测和内容过滤机制；同行评议主要针对资源的语义类质量，比如，是否违背了现有的法律和政策，是否包含一些不正确、不科学的内容，内容组织格式是否符合相应的规范和标准等；用户评价主要针对资源的语用类质量问题，从用户主观感受的角度对生成的资源内容进行评分和评级等^[22]。

从评价技术出发，常用的评价方法主要有：定性评价法，定量评价法和半定量评价法。

1.定性评价法

定性评价法是评价主体按照一定的评价标准，借助专业知识和个人经验对评价对象进行估计和推断的一种评价方法。定性评价法的基本步骤是：根据评价工作的目的和评价对象的需求，依据一定的准则，确立相应的评价标准，建立评价指标体系并对评价对象进行评价。定性评价法的主体往往都是本领域的权威专家，具有丰富的学科知识和评价实践经验，对资源的知识性、教育性等方面的特征比较了解，能够对资源质量和价值做出较为正确合理的判断，因此这种评价方法具有可靠性和专业性等特征。该方法的优势是可以对评价对象进行比较全面和深入的分析，从多种思路和视角对资源的质量进行判断。但其同时也存在着一定的局限性，主要表现在主观性较大，操作的合理性和可信性会引起一定的争议，评价的规范性、准确性和科学性也有待于进一步研究提升^[23]。能应用在用户生成性学习资源质量评价的定性方法有问卷法、访谈法、观察法、对比法、模拟法等。在这些方法当中，对比法是一种将同类学习资源进行比较而得出评价结果的方法；模拟法则是指通过编制相应程序模拟实际效果的评价方法^[24]。

2.定量评价法

定量评价法是指使用数量分析，从具体量化的角度对数字化学习资源质量进行评价的一种方法。该方法与定性评价法相比，更为系统、客观和规范化，得出的评价结论也更为精确，可信度较高。其不足之处体现在量化的标准一般比较表面化，无法对资源质量进行深层次的剖析和考察，不同评价情境下的评价数据往往不具备可比性。同时定量评价法的不确定性因素也较多，评价手段也还有待于进一步完善^[25]。在定量评价法中最具有代表性且应用最为广泛的是网络计量方法。网络计量方法主要包括链接分析法和概率统计方法。链接分析法通过分析资源站点被其他站点链接和引用的情况来测定资源被引用和被使用的情况。概率统计方法是数字化学习资源定量评价的基础，很多研究机构通过对资源网站和服务器的数量、资源用户特征等指标进行统计分析，建立对资源质量进行精确评价的指标体系。

3.半定量评价法

半定量评价法是一种将定性和定量结合的折中的评价方法。其主要做法是在定性评价部分环节中引入精确评价手段，将定性问题（如专家评价意见）按人为标准打分并按定量方法进行处理。常见的半定量评价法有层次分析法和模糊综合评价法等。

（1）层次分析法。所谓层次分析法，是指将一个复杂的多目标决策问题作为一个系统，将目标分解为多个目标或准则，进而分解为多指标的若干层次，通过定性指标量化方法计算出层次单排序（权数）和总排序，以作为目标（多指标）、多方案优化决策的系统方法。在对用户生成性学习资源质量进行综合评价时，层次分析法主要用于确定各指标的权重，将人们对学习资源质量的主观判断以数量形式表达出来。使用层次分析法的基本思想就是首先将用户生成性学习资源质量视为一个复杂的系统，通过对系统的多个质量评价指标进行分析，划分出各质量指标间相互联系的层次关系；然后请相关评价专家对每一层次的质量指标进行客观判断，并定量地确定出各质量指标的相对重要性程度；接着利用构建的数学模型，计算出每一层次质量指标的相对重要性权重，加以排序；最后根据排序结果计算出各指标对学习资源质量的影响程度^[26]。该方法能够快速判别出影响学习资源质量的主要因素，可操作性较强^[27]。

（2）模糊综合评价法。由于用户生成性学习资源质量评价是一个综合评价的过程，需要同时考虑多种因素的影响作用，而这些因素往往带有一定程度的模糊性，可以应用模糊数学理论与方法对资源进行质量评价。模糊综合评价法是一种基于模糊数学的综合评价方法。该方法根据模糊数学的隶属度理论把定性评价转化为定量评价。利用模糊综合评价法对用户生成性学习资源质量进行评价，其实质是对影响资源质量的多个模糊因素进行评价，即通过建立指标集、评语集、权重集和评估矩阵进行单因素评价，然后从低层次到高层次把每层的评价结果作为上一层的输入，逐层进行计算，最终得到总的模糊评价结果^[28]。该方法具有结论清晰、系统性强的特点，能较为客观地反映出资源质量的真实值。

而在具体的评价策略方面，要注意以下四个方面：

其一，建立统一的评价指标体系与评价标准。

从前文的分析可知，目前国内尚无用户生成性数字化学习资源质量评价的专用标准。数字化学习资源质量评价的研究主要表现为学术领域人员的个别化行为，缺乏权威研究机构的参与。目前的学习资源评价往往是以单一机构为主体，而且因为评价活动的资助者不同，不同评价活动面向的用户群体也不相同，从而形成了一种信息孤岛式的评价服务。从相关研究的评价指标体系上来看，往往良莠不齐；从可操作性来看，一般可操作性不强，制订的指标在进行具体测度时实用性缺乏。因此，建立统一的评价指标体系和评价标准势在必行。只有在统一评价标准的指导下，对同一数字化学习资源质量的评价结果才会既真实可信，又具有权威性和互认性，避免多次评价所造成的人力、物力和财力的浪费^[29]。

其二，专家评价与用户评价相结合。

为了保证资源质量评价的科学性与有效性，应当采用专家评价与用户评价相结合的方式。专家评价应建立包括多方面专业人员的评价小组，通常应该包括学科教学专家、教育技术专家和资源管理者等。在整个评价过程中应注意小组成员之间的沟通与交流，对成员之间的意见分歧应合理协调。专家评价应兼顾三个方面：第一个方面是技术性评价，第二个方面是功能性评价，第三个方面是使用绩效的评价。对用户评价而言，应分为使用前评价和使用后评价两种。使用前评价是根据事先制订的数字化学习资源质量评价指标体系，为不同用户编写不同的问卷来获取评价信息及相应的得分即使用前的评价得分^[30]。使用后评价则主要是对该资源被使用后所产生的学习效益和社会效益，将二者结合起来进行综合评价，从而得出最后的评价得分。最后，将专家评审的结果与用户评价的总得分结合起来，并以此作为确定该资源质量评价等级的主要依据。

其三，定性评价与定量评价相结合。

定性分析和定量分析这两种方法各有所长，两者是优势互补的。评价者不能根据自己的偏好，盲目地信奉、赞赏某一种方法，而排斥、贬低另一种方法。定性评价注重学习资源内在特征的评价；定量评价注重数字化学习资源外部特征的量化。定性评价能在某种程度上克服定量评价在评价深度上存在的不足，以确保评价的专业性；定量评价能克服定性评价主观性太强的问题，保证评价的客观性。定性评价法要求评价者具备较强的学习资源设计、开发、管理与利用的知识和经验；定量评价法则要求大量的评价数据和样本。单纯的定性分析容易造成评价的片面性；而评价数据的不完善，也使得定量评价方法难以得到有效应用和检验。因此，应当结合定性和定量的方法对学习资源质量进行分析和评价，同时应加强半定量评价方法如层次分析法和模糊综合评价法的应用，弥补单纯定性评价和单纯定量评价所产生的不足^[31]。

其四，引入第三方评价。

这里所谓的第三方，是指资源创建者、管理者和使用者以外的其他人员。第三方能完全摆脱学科领域和开发领域内对资源认识的种种束缚，站在旁观者和审视者的视角，对数字化学习资源质量进行比较客观的评价。第三方评价者必须具备良好的专业素养和丰富的评价实践经验，能在实践中敏锐地发现数字化学习资源开发、生成和使用过程中所存在的问题和不足，并能提出一些建设性的意见和建议^[32]。就具体操作而言，第三方评价任务一般由认证过的专业评价机构承担，能够保持评价过程的中立性、公平性和公正性。但第三方评价也存在一定缺陷，比如，第三方评价人员的实践经验不足，不能发现资源质量的深度层面等。这些缺陷都将影响资源质量评价的全面性和权威性。因此，第三方评价可以作为专家评价、用户评价的有力补充，从而保证评价过程的客观公正^[33]。