(一)确定评价对象
评价对象通常是同类事物(横向)或同一事物在不同时期(纵向)的表现。对装甲车辆等类型的装备而言,评价对象可以是整车的指标效能、系统效能或作战效能等,也可以是其在论证、工程研制、鉴定定型等不同寿命阶段某项效能(如作战效能)的评价。
(二)确定评价目标
评价目标决定了评价过程中所需要考虑的因素。如装甲车辆性能验证阶段指标效能的评价,因为主要是考核战术技术指标是否满足研制总要求中的规定,所需要考虑的因素主要包括试验环境、试验方法、测试参数的精度等。
(三)构建综合评价指标体系
综合评价指标体系的构建与评价对象、评价目标是紧密相关的。一般地,其构建过程是从总的目标出发,逐级发展子目标,最终获得结果性指标集。
综合评价指标体系的建立,要根据评价目的或者说评估的问题而确定。但一般地,在构建评价指标体系时,应遵循以下原则。
1.指标宜少不宜多,宜简不宜繁
指标不是越多越好,关键在于指标在评价过程中所起的作用大小。目的性是出发点,指标体系应涵盖为达到评价目的所需的基本内容,能够反映被评对象的全部信息。另外,指标的精简可减少评价的时间和成本,使评价活动更易于开展。
2.指标应具有独立性
所选择的指标应内涵清晰、相对独立;同一层次的各个指标间应尽量不相互重叠,不存在因果关系。指标体系要层次分明,其构成要紧紧围绕评价目的层层展开,使最后的评价结论能够确实反映评价意图。
3.指标应具有代表性和差异性
所选择的指标应具有代表性,能很好地反映研究对象某方面的特性。指标间也应具有明显的差异性,也就是具有可比性。
4.指标可行
指标应可行,符合客观水平,有稳定的数据来源,易于操作,也就是说应具有可测性。指标含义要明确,数据要规范,资料要易于收集。这些原则在实际应用中需要灵活考虑。一般地,指标体系的构建过程如图6-1所示。
首先明确其约束条件,即评价对象、评价目标、试验关注要点等;然后进行指标分解,指标分解一般由总目标开始,自上而下逐层逐个指标进行分解。指标分解要以其约束条件为基础,充分考虑专家意见,尽可能全面地提出反映准则(即上一级指标)特性的指标,从而得到基础性指标集。显然,这些指标要能够全面反映其准则的所有特性,并且每个指标都能代表其准则不同方面的属性。(www.xing528.com)
图6-1 指标体系的构建过程
其次,进行基础性指标集的筛选和优化,得到结果性指标集;接着要判断末级指标细化程度和可度量程度,决定是否继续进行指标分解。末级指标细化程度的判断要综合多方面意见,且要尽量保证所有末级指标的细化程度相近。末级指标要求都能运用专家评判法、建模分析法、试验实测法等度量方法进行度量。
需要注意的是,指标体系的确定具有较大的主观随意性。虽然指标体系的确定有经验法、数学法等,但通常多采用经验确定法。虽然采用数学方法能够降低选择指标的主观随意性,但由于所采用的样本集合的不同,也无法保证指标体系的唯一性。另外还要注意对指标类型的一致化处理,保证指标间的可比性。
(四)选择或设计评价方法
评价方法是实现评价目的的技术手段,评价目的与方法的匹配是体现评价科学性的重要方面。正确理解和认识这一匹配关系是正确选择评价方法的基本前提。评价目的和方法之间的匹配关系,并不是说评价的特定目的与评价方法的一一对应,而是指对于特定的评价目的可以选择高效的、相对合理的评价方法。
根据评价对象的具体要求不同,所选择的综合评价方法也有所不同。其选择的基本原则可概括为:
(1)选择评价者最熟悉的评价方法;
(2)所选择的方法必须有坚实的理论基础;
(3)所选择的方法应当简洁明了,尽量减小算法的复杂性;
(4)所选择的方法必须能够正确地反映评价对象和评价目标。
总的来说,选择成熟的、公认的评价方法是最合适的做法。同时,应注意评价方法与评价目标的匹配,注意评价方法的内在约束,注意不同方法的评价角度,掌握不同方法的评价途径。
(五)选择或构建评价模型
选择或构建评价模型是选择评价方法的问题。如何从众多的方法模型中选择一种与评价对象、评价目标、评价指标体系等最适配的一种,是影响试验鉴定综合评价的一个关键问题。其中,任何一种综合评价方法都要依据一定的权重对各单项指标评判结果进行综合,权重比例的改变将直接影响综合评价的结果。综合评价的方法有许多种,而且各种方法不尽相同,但总体思路基本是统一的,其中建立指标体系、确定各指标权重、建立数学模型是综合评价的关键环节。
(六)分析评价结论
由于综合评价的过程中包含定量分析和定性分析,因此试验鉴定综合评价工作具有较强的主观性,在评价过程中必须以客观性为基础,尽量以定量的分析为依据,以提高评价方法的科学性,保证评价结果的有效性。在实际工作中,我们也不能盲从评价结论,因为任何一种评价方法模型都有一定的局限性,其结论不能作为决策的唯一依据,我们还应当结合其他渠道的数据进行融合分析,以提供更客观准确的结论。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。