专家评价模型评价指标的设定

7.3.1　专家评价模型评价指标的设定

实践证明，仅用访问量、引用率等文献计量统计指标定量地评价网络科技文献，或光用用户意见等定性地评价网络科技文献，两者都有不足之处。唯有将两者有机地结合起来，才有可能建立较为公正、合理的评价标准。因此，我们在参考、借鉴传统论文评价指标的同时，还应根据网络科技文献自身固有的特点及其组织方式、运作模式等诸多因素，从定量和定性两方面来选择专家评价模型的指标。

(1)定量指标的设定。

结合网络科技文献的特点，参考传统印刷型科技论文的定量评价指标，我们设定如下七个网络科技文献定量评价指标:

①被访问次数。

被访问次数是指网络科技文献发表后在一定时期内被读者浏览或访问的次数，它是评价网络科技文献的重要指标之一。一般来说，统计论文的被访问次数包括点击数和页读数两个方面的数据，需要注意的是，在考察网络科技文献的被访问次数时，一般要设定考察的时间范围。建议选择网络科技文献刚发表后的一段时间为考察周期，这样得到的数据比较公平、客观。

②被引用次数。

被引用次数是指网络科技文献从发表之日起被其他作者引用的次数，它是从信息反馈的角度评价论文质量的基本指标之一。被引用次数可以测度网络科技文献的学术影响力，该项指标从历史的角度，用论文被引用的数量直接反映该论文在科学发展和文献交流中所起的作用。被引用次数高的论文，一般来说都具有一定的研究深度和理论价值，创新性强，对学术研究有指导意义等特点，因此其质量也相对较高。

③被下载和打印次数。

被下载和打印次数是指网络科技文献被读者下载和打印的次数，它包括网络科技文献全文、部分内容和目次页被下载和打印次数的总和，它是评价网络科技文献重要性的指标之一。读者如果下载或打印了该论文，则说明该论文对其有用。论文被下载和打印次数与论文的重要性呈一定的正相关关系，论文被下载和打印次数越多，说明该论文的重要性越大。

④被转载次数。

被转载次数是指网络科技文献发表后被其他网站、期刊或其他媒体全文或部分转载的次数，论文发表后被转载的次数越多，说明论文的质量越高。在纸介质出版环境下，评定论文学术质量时，被转载次数的多少和转载率被视为评定论文学术质量的重要指标之一，在评价网络科技文献时，被转载次数是同样不可忽视的重要指标之一。

⑤引文数量。

引文数量是指网络科技文献引用其他参考文献的数量。作者若要写出高水平论文，必须对该领域非常熟悉，不仅要了解经典的研究成果，而且还要了解近期该领域的新进展，因此，当论文引用的文献量较少时，我们就会怀疑作者对该领域了解的全面性。由此可见，引用文献数量的多少也是评价论文质量的关键，引用文献越多，说明作者查阅的参考文献越多，作者对问题了解越全面，因而论文的质量相对也会越高。

⑥链接数量。

网络科技文献的链接数量通常能显示论文的重要程度。链接数量包括内部链接数量和外部链接数量两个方面，所谓内部链接数量，指的是同一论文内网页之间的相互链接数量，它对一些深层页面的浏览和检索起着至关重要的作用;外部链接数量是指该论文网站或网页上外来链接的总数量，被其他网站或网页链接的数量直接关系到该论文的访问量和在搜索引擎中的排名位置。一般地，从其他网站或网页链接到某一网络科技文献网站或网页的数量越多，那么这篇论文就越重要。(www.xing528.com)

⑦论文相关研究成果获奖次数。

论文相关研究成果获奖次数是指论文发表后，相关的研究成果获得各种奖励的数量和等级，这是一项能直接反映论文学术水平的指标，获得奖励的数量和级别越高，其论文的学术价值通常也越高。

(2)定性指标的设定。

一般说来，定量评价比定性评价更客观、更具体、更精确、更具操作性。但是要获得客观、公正的评价，还需处理好定性评价与定量评价的关系。根据网络科技文献自身特点，结合传统印刷文献的评价指标体系，我们将从权威性、准确性、新颖性、全面性和便利性五个方面，设计网络科技文献的十三个定性评价指标。

①权威性指标。

权威性是指网络科技文献的影响程度，它包括来源网站及其主办者、发布者、作者等的权威性、知名度和影响程度。权威性指标是衡量网络科技文献的质量、可信度和可靠性的重要指标，它又可以分解为三个具体指标:第一，网络科技文献的权威性。要考察论文是否有较强的学术背景;其学术性是否有知名专家和学者的认可和支持;若是纸介质论文的简单电子化，那么则需要重点考察来源刊物的权威性。第二，论文作者的权威性。考察作者是否提供联系方式以及提供的联系方式是否真实、有效等;尤其应该重点考虑作者在其学科领域的学术地位以及作者的社会影响力。第三，发布网站的权威性。不仅要考察发布论文网站的情况，若是转载和转发的论文，还需要考察其来源网站的情况;同时包括网站的主办者、网站的专业性、发展动态等也是评价和考察的重点。

②准确性指标。

准确性是指网络科技文献的内容、格式、论文来源是否准确。准确性指标也是评价传统论文的主要指标之一，主要包括以下三个次级指标:第一，论文内容的准确性。对内容的考察需要了解作者的论点是否以具有足够说服力的事实或试验作为依据^[5]，因而要考察论文观点是否客观，引用数据、事实是否准确，统计表格或图表是否清晰易读等。第二，论文格式的正确性。主要考察论文是否有语法或拼写错误;标点符号使用是否正确;参考或引用文献标注是否准确;是否有论文摘要;关键词是否准确等。第三，论文来源的准确性。主要考察发布者、作者相关信息的准确性;论文如果是传统刊物的电子化，则主要考察其标注的来源刊物的相关信息是否正确;与原刊物内容核对，内容是否准确无误。

③新颖性指标。

新颖性是指网络科技文献内容所涉及的主题、表达的思想观点和运用的观点是否新颖独特，以及其在研究对象、研究视角、研究手段等方面是否有独到和创新之处;因为“学术论文重在言他人所未言、做他人所未做、行他人所未行”。^[6]新颖性指标包括两个次级指标:一是论文的论题、内容是否新颖。主要考察论文的论题是否独特、新颖;论文的观点、内容和研究方法是否有创新性;研究成果是否新颖等。二是论文的写作和发表日期是否新颖。要考察包括论文的写作日期、上网日期、修改日期或电子化日期等，看它们是否为最新发布。

④全面性指标。

全面性是指网络科技文献是否能够全面地论述主题和观点，是否能够反映客观事物的各种因素、各种关系等，全面性是评价网络科技文献的重要指标之一。在对论文的全面性进行评价时，主要考察两方面指标:一是考察论文内容的全面性。主要考察论文涉及主题的深度和广度、论文的读者对象等。二是论文出版形式的全面性。考察论文是否只用本国语言出版;论文刊载网站是否提供如BBS等网络交互功能以方便与读者互动;网络文件的格式是否多样;论文是否采用多媒体出版形式等。

⑤便利性指标。

便利性是指网络科技文献是否符合用户的实际需要并方便其使用，它最能体现网络科技文献对用户友好的特点。因为“网络资源的内容固然重要，但形式也是需要考察的一个因素”^[7]。对便利性的考察主要包括三个方面的指标:一是用户界面是否友好。要考察是否有使用指南等帮助信息方便用户查阅;论文能否以多种格式打印和下载;论文内部和外部链接是否充分、有效及合理;信息传输速度是否快捷;网站运行是否稳定等。二是要考察检索功能。要考察论文是否有检索功能;检索途径是否齐全;检索界面是否多样;能否提供布尔检索等高级查询方式;检索结果是否准确等。三是要考察网络安全。主要考察重要信息是否使用了专用服务器;是否采用防止黑客攻击及病毒感染的技术措施等。