如何评价专家系统的性能：逸事评价法

（一）评价方法

评价一个专家系统，就类似评价一个人的水平高低一样，是一个很难的问题，不同的评价者所得到的评价结果不同。到目前为止还没有一个令人信服的评价标准。不过，以下两种方法是在评价专家系统时常用的方法。

（1）“逸事”评价法

这种方法是利用一些简单的、具有启发性的或能说明问题的一些典型例子来对系统的性能进行说明，向人们证明系统在这些典型例子所具有的条件下工作性能良好。这有点类似人们在日常生活中对某人水平进行评价时，经常使用的那种方法，例如，如果想知道张三的医术高低，但又无法进行准确的评价，只能通过他曾经给李四医好了胃病、给王五医好了肝病来说明张三的医术还是很高的。这种方法只是通过一些典型例子说明了系统工作良好，对于这些例子以外的其他情况，系统能否很好的工作并不知道。

（2）实验的方法

该方法要求利用实验来评价专家系统在处理存储于数据库中的各种问题实例时，所表现出的性能。在使用这种方法对系统进行评价时，必须制定一种严格的试验过程，以便把专家系统产生的解释与相应实例的实际解释进行比较。这种方法看起来似乎比逸事方法优越，但在系统实现上难度较大，在获取数据库中哪些有代表性的实例时，也常常会遇到困难。例如，在医学领域，对一些常见病，要收集比较多的实例还是容易的，但对那些非常见的疾病，要收集足够多的、有代表性的实例就比较困难，当然也就无法将专家系统的试验结果与实际的诊断结果进行比较。

（二）评价内容

对专家系统的评价可以从专家系统的设计目标、结构、性能、实用性等方面来进行，其内容主要包括以下几项。

（1）知识库中知识是否完备。包括知识库中的知识是否完善、正确？即知识库中是否具有求解领域问题的全部正确知识？知识库中知识的一致性和完整性是否满足要求？(www.xing528.com)

（2）知识的表示方法与组织方法是否适当。包括知识的表达方式是否合适？组织方式是否合理？知识的表达方式要有利于提高搜索和推理的效率，并能准确合理地表示那些具有不确定性的知识；知识的组织方式也要有利于搜索和推理的效率，并有利于对知识的维护与管理。

（3）系统的推理是否正确。衡量系统推理结果的标准是准确率和符合率，所谓准确率就是推出的结论与客观实际的符合程度，而符合率则是推出的结论与专家所得结论的符合程度。这种评价主要通过判断系统在解决各种问题时能否给出正确答案，即结果的准确率和符合率来实现。

（4）系统的解释功能是否完全与合理。这主要是看系统能否为用户就推理结果等情况提供令人信服的解释，它也是帮助系统进行调试的辅助工具。

（5）用户界面如何。包括用户界面是否友好？使用是否方便？能否满足用户需求？

（6）系统的效率如何。包括系统的解题效率是否达到所期望的高度？系统的响应速度能否满足用户要求？

（7）系统的可维护性如何。包括系统是否便于检测？它的可扩展性和可移植性如何？

（8）系统的效益如何。包括系统的经济效益和社会效益两个方面，有些系统虽然经济效益不怎么样，但有较大的社会效益或者对人工智能的研究发展具有推动作用，也是值得赞赏的。