艾滋病项目管理教程：督导与评估指标体系分析

学习目标

(1) 督导与评估指标的类型以及使用中的优点和存在的问题。

(2) 督导与评估指标的汇总和督导与评估指标的分析和利用。

督导与评估指标体系分析与利用

一、督导与评估指标的类型以及使用中的优点和存在的问题

（一）指标类型

(1) 投入指标：开展项目所需要的资源，如人员、资金、材料、设施、经费。

(2) 过程指标：为实现项目而开展的活动，如人员培训、教育、治疗、干预等过程的物资、时间、经费分配情况及医疗服务情况（服务利用、药物配备、病人需求引导），这些资源的安排与目标符合的程度，项目运行的效率。

(3) 产出指标：实施项目后的直接结果，如受训人员数量、健康教育覆盖率、提供安全套的数量和质量、资源和信息利用率和其他结果指标。

(4)结果指标：项目实施在人群水平上产生的直接效果（中、短期效果），如健康知识知晓率、高危人群（注射吸毒者、男男性行为者、性工作者）的行为改变、态度改变率、现有资源和技术改变程度、强化因素改变。

(5)影响指标：人群健康状况改善程度（长期效果），如HIV感染率、现患率、发病率、死亡率、生活质量、孤儿情况、社会观念、社会能力。

（二） 指标收集的原则

(1) 只收集必须收集的数据。

(2) 确保数据质量。

(3) 尽可能缩短数据的收集、报告和分析流程。

(4) 数据收集工具应尽可能简单。

(5) 整合不同的数据收集工具。

(6) 数据库管理体系应该简便。

(7) 数据收集工具应当容易修改和更新。

(8) 数据收集工具应当满足不同的报告要求。

（三） 指标收集质量的把握

(1) 充分的人员培训。为了减少偏倚，调查员在开展调查前应经过培训，统一思想，对问卷的认识应保持一致，统一对问题和答案的理解。

(2) 确保合理的数据流程。在调查表或问卷中，一开始可以问一些有趣而且简单的问题，以此来激发调查对象的兴趣，提高应答率。

(3) 不同阶段的核查机制。每一次数据收集结束后，都应马上开始进行数据的核查工作，发现有漏填或不合理的地方，应尽快让被调查对象补充完整。研究项目的数据可以来源于多个渠道，项目官员和专家组应把各种渠道收集来的数据进行综合分析。建立核查机制的另一个目的是建立假设检验和模型。

(4) 数据本身的逻辑性。通过问卷或调查表设计一些有关联性的问题，以此来评价被调查者回答的一致性。

(5) 选择好调查时间。首先，应避免在工作时间和休息时间开展调查。其次，问卷和调查表的篇幅不宜过长，所需的时间相对较短。

(6) 调查员控制答题程序。由于问卷有一定的复杂性，有些问卷和调查表存在转跳问题，调查对象在回答问题时可能出现错误，也有可能出现前后矛盾，此时如果有调查员悉心引导，可以有效地避免不必要的错误。

(7) 加强随访以提高应答率。随访是提高应答率的有效方法，当调查问卷和调查表回收后，研究者要与调查对象保持联系并随访，直接沟通，建立良好的关系，以提高目标人群的应答率。选择知名度较高、信誉较好的人员和机构作为调查者，能大大地提高应答率。

二、督导与评估指标的汇总和督导与评估指标的分析利用

（一） 督导数据的收集流程和核查机制

督导数据的收集流程和核查机制如图3-3所示。

（二） 督导数据的应用

(1) 提供信息。提供有关项目的进展情况、潜力和问题的可靠信息。

(2) 管理工具。揭示需要重新审视的问题、实施策略是否需要调整，以及取得了什么成绩和哪些工作尚未完成。

(3) 数据报告。为项目负责人提供他们需要的数据，以便向资助机构汇报。

(4) 信息反馈。为受项目直接影响的社区提供反馈信息。

(5) 分析评估。为全面评估和分析项目影响打好基础。

阅读材料

项目评估案例通过娱乐业主雇用引导从业人员预防性病、艾滋病行为干预的研究

1.项目概况

项目名称：通过娱乐业主雇用引导从业人员预防性病、艾滋病行为干预的研究。(www.xing528.com)

项目编码：SA103。

中标金额：10万元。

项目负责人：童明德。

项目总目标：减少性病、艾滋病在娱乐业从业人员及其性伙伴中传播的几率，降低感染HIV和STI的危险性。

项目具体目标：①提高目标人群（预计700人）对性病、艾滋病的知晓程度。项目完成后使目标人群对性病、艾滋病的知晓程度提高40％；②提高重点干预对象（100人）对避孕套的使用率，项目完成后使80人的避孕套使用率达到100％。

2.项目评估过程

项目评估小组一行三人于2002年8月14日下午到达泸州。当日，我们与部分项目执行人员会面，进行了初步的交谈，并仔细地阅读了其递交的相关材料。2002年8月15日上午，在泸州市卫生防疫保健站，我们听取了项目负责人和项目工作人员的工作汇报，与两位项目负责人和两位项目工作人员进行了深入的交谈，并让他们填写了问卷。接着，我们又访谈了三位第一类知情人，他们分别是市委郑秘书长、卫生局郑局长和公安局治安队唐队长。下午，同样是在泸州市卫生防疫保健站，我们对六位项目受益人（娱乐业女性从业人员）和三位第二类知情人（娱乐业雇主）进行了访谈，完成了9份调查问卷。接着，我们到三个娱乐场所进行了现场参观，与那里的负责人、项目工作人员、市委秘书长、市卫生局局长等人进行了座谈，初步交流了我们对项目工作的大致印象和基本看法。本次项目评估共访谈了16人，填写了16份调查问卷，完成了预定目标。

3.项目描述

该项目于2001年5月通过初审，2001年9月复审中标，2001年10月15日启动，计划于2002年10月结束。项目共分为5个部分18项活动，现已完成前三个部分，13项活动，第四部分于2002年8月30日之前完成。项目目前进展顺利。

启动前准备工作（2001/09/01—2001/10/15）的内容为：在省项目办专家的指导下学习项目备忘录，修改、完善项目实施工作方案；在准备开展项目活动的三个区（实际是在两个区开展项目活动）对目标场所摸底；向卫生局和政府汇报项目的来源、目的、计划，争取政府支持下的多部门配合。

预调查和基线调查（2001/10/16—2001/01/20）的主要内容为：对目标人群作小样本调查并作信度检验和效度检验；根据预调查情况修正调查提纲，形成正式调查问卷及质量控制意见，完成对76个目标场所、目标人群700人的基线调查报告、中期工作报告和中期评估。

通过对娱乐场所雇主引导从业人员预防性病、艾滋病的行为干预（2002/01/21—2002/07/31）的主要活动内容为：培训雇主、在雇主帮助下对从业人员进行防治性病、艾滋病的行为干预；选择和培训同伴教育者；向目标场所发放宣传材料；组织目标人群收看防治性病、艾滋病的VCD；用讲课、访谈、小组讨论、同伴教育活动等多种方式提高目标人群的知晓程度和安全套使用率；行为干预的四个专项宣传活动；匿名咨询、免费提供安全套、对非法性行为的行为干预探索，提供可及性的性病诊疗服务；组织骨干志愿者参加国家项目办的研讨活动。

验证性调查（2002/08/01—2002/09/30）主要活动内容为：用与基线调查相同的方法和问卷进行调查，对比干预前后公共场所女性从业人员对防治性病、艾滋病知识的知晓程度及使用安全套的行为和态度等方面的变化情况，以期对行为干预效果作出评价。现场工作基本结束，资料尚在整理之中。

结题、总结（2002/10/01—2002/10/30）。

4.项目经验

本次评估的主要目的之一便是总结最佳经验。通过与各类访谈对象的深入交谈，在参阅大量相关资料的基础上，我们认为该项目有以下几点经验是值得总结和借鉴的。

探索“经验观察评价法”，将公共场所女性从业人员区分为不同人群，为有针对性地收集信息和进行干预做好准备工作。

该项目的亚目标人群是泸州市龙马潭区和江阳区内地歌舞厅、保健按摩房(美容店、发廊)、浴室（桑拿）、宾馆、路边店、洗脚房这六类公共场所中的所有女性从业人员；而其目标人群即是上述六类场所中有非法性行为的女性从业人员（散布在亚目标人群中）。根据有无非法性行为所划分的两大群体，无论在观念、行为方式，还是在感染、传播性病、艾滋病的危险性上都有很大的不同。因此，区分不同人群，对基线调查、验证调查所获得的材料进行分类整理，并在项目实施过程中有针对性地对不同人群采取相应的干预措施，是非常必要的。

暗娼(CSW) 散布在公共场所女性从业人员中，隐蔽性很强，但毕竟具有不同于一般人群的行为特征。项目执行人把这些行为特征总结为7条判断标准，其中2条是主要标准，5条是次要标准。根据这些标准，我们就可以判断某一女性从业人员是否存在非法性行为。由于我们能观察到的只是与非法性行为有关的行为方式，而非非法性行为本身，因此对公共场所女性从业人员进行二元分类具有一定的风险。为了减少武断所带来的风险，项目执行人在全有、全无之间增加了一个类别，即可疑有非法性行为的人群。符合任一主要标准的观察对象均可判定为有非法性行为，符合任一次要标准的均可判定为可疑有非法性行为，不符合任一标准的判定为没有非法性行为。

“经验观察评价法”所依据的2条主要标准（与顾客有亲昵行为并单独与顾客进入包房；正面承认有非法性行为）可以保证筛查CSW这个主要目的的可靠性，误判和漏判的可能性较小。5条次要标准（打扮妖艳，长期滞留可疑场所，并有招揽顾客的行为；与顾客有亲昵行为；主动要求到客房提供按摩服务；主动要求为顾客洗浴；雇主或同伴介绍其有非法性行为）误判的可能性很小，漏判的可能性大些。因为上述特征是半公开的CSW的行为特征，在档次较低的场所很容易观察到，但在高级场所的CSW很难用上述标准筛查，此外，调查员在可疑场所停留时间有限，很难对所有目标进行有效的观察。

对泸州市6类76个公共场所（歌舞厅6个，保健按摩房52个，浴室3个，宾馆8个，路边店4个，洗脚房3个）706名女性从业人员进行的基线调查中，调查员根据上述7条标准对调查对象进行了观察评价，得到了如下结果：220例没有非法性行为，234例疑有非法性行为，252例有非法性行为。用SPSS对各组回答的25个问题共104个选项进行统计分析，结果显示3类人群对大部分问题的回答有显著性差异（P＜0.05），此结果印证了“经验观察评价法”的客观性和有效性。

5.项目挑战

本次评估的另一目的是识别挑战，以为项目今后的工作提供指导。在综合各方面意见的基础上，我们认为，项目目前面临的最大挑战是有一些雇主的介入成本太高，可能会影响项目的可持续性。造成这种状况的原因是由于项目工作人员过于迁就雇主，使得雇主提出过分的要求。

必须承认，通过娱乐场所雇主对女性从业人员进行行为干预是一个非常好的思路。首先，娱乐场所雇主是该项目不可回避的人物。雇主在很大程度上管理和控制着从业人员，项目如果不能争取到雇主的积极配合，那至少也要征得他们同意，因此，召开娱乐场所雇主座谈会是必不可少的。其次，如果能够争取到雇主的大力支持、密切配合，项目进展将会非常顺利。在该项目中，雇主主要协助完成了以下活动：协助工作人员有效地接近目标人群；推荐同伴教育者；协助发放宣传材料、安全套并放映VCD；协助筛查CSW；以骨干支援者的身份参加项目活动。如果没有雇主的积极配合，要到现场直接进行培训和宣传是非常困难的。

为了表示对雇主支持的感谢并激励他们持续配合，付给他们一定的报酬是合情合理的，但这应该是一种象征性的表示，以显示对雇主劳动的尊重，而不应该演变为推动雇主进行配合的主要动力。项目工作人员不能迁就雇主对报酬的过分要求，否则最终必然阻碍项目的顺利实施。我们认为，项目目前所面临的资金短缺问题部分是由迁就和纵容雇主所导致的。

争取雇主配合的最主要方式不是付给报酬，而首先应是宣传教育。通过宣传教育，使雇主认识到项目开展的意义、价值及对他们本人的益处，这样他们一般都会自愿、积极、主动地配合。泸州项目之所以出现雇主索要报酬的情况，部分原因是由于宣传工作没有做到位。在这种情况下，一方面，我们不能放弃宣传教育，另一方面，我们可以利用卫生部门的监管权力约束雇主的行为。公共场所开业必须得到防疫站（卫生局）的卫生许可，此外，防疫站还经常性地对这些场所进行卫生监督、监测，因此，娱乐场所时刻处于防疫部门的监管之下。该项目的中标单位是泸州市卫生防疫保健站，项目工作人员也是该站工作人员，因此他们完全不必姑息雇主的过分索要行为，应对阻挠项目实施的雇主采取一定的强制措施。

6.关键问题打分记录以及受益人需求排序

关键问题是指访谈提纲的量表中所提到的问题。不同的访谈对象对这些问题的打分，可以折射出项目实施的环境和效果。由于项目负责人与项目工作人员所填写的量表完全相同（表3-3至表3-6中每项最高分值为5分），因此我们把他们归为一类进行分析（见表3-3）。

从表3-3可以看出，四位项目执行人对资金支持的力度评价最低。他们预计项目资金将有一万元左右的缺额。他们对其他四个方面均较满意。

第一类知情人的打分记录见表3-4。

表3-4显示，三位第一类知情人对项目实施人员的政策开发工作评价最高，其次是组织管理能力和协调工作，评价最低的实施效果和推广前景也达到了较高水平。

表3-5显示，受益人对各个问题的打分非常之高，尤其是工作人员采用的方法和责任心被评为满分。受益人认为自己对相关知识的掌握稍差，但这并未妨碍她们的态度和行为的转变，后面这一点我们在其他项目中也发现了。

从表3-6可以看出，第二类知情人与受益人对相应问题的打分比较一致：工作人员采用的方法、工作人员的责任心及项目对受益人行为转变发挥的作用均受到了很高的评价；项目受益人对相关知识的掌握稍差，但第二类知情人同样也认为这并不影响项目受益人的态度和行为发生转变。

受益人需求描述与需求排序见表3-7（量表每项最高分值为10分）。

从表3-7可以看出，六位受益人的所有需求均与健康有关，可见她们的防病意识已非常强烈。

7.评估总结

按照项目目前的进展情况，项目执行人应该能够在预定时间内完成项目活动。可能存在的问题是项目所设定的极其精确的目标能否在终期评估中得到验证。另外，项目执行人还应该思考如何使项目具有可持续性，使得即使在项目结束之后，项目活动仍然能够继续开展并发挥效力。虽然，中标单位泸州市卫生防疫保健站与相关单位的协调与配合不错，但仍显不足，尤其是与公安部门的合作还缺乏默契；娱乐业雇主介入项目活动的成本过高；项目工作人员与娱乐业非法性行为者之间的交流仍存在一定障碍，这些都影响了项目的可持续性。而在这些方面，绵阳项目组、江川项目组和永平项目组做得不错，建议其他项目组成员参考、借鉴他们的经验。

当然，泸州项目组也获得了某些宝贵的经验，如我们上面提到的经验观察评价法和科学、严谨的基线调查方法，这些都是值得其他项目组借鉴的。项目组成员利用自己收集的资料及实施项目的经验、体会，撰写论文，把自己的成果呈现出来与大家分享，促进交流。

在评估了多个类似项目之后，我们强烈地感觉到在同一主题的项目之间进行交流和研讨的必要性。有时某一项目的经验恰好可以为解决另一项目的问题提供有益的思路，而有些问题则是各个项目所共同面临的，如如何针对无固定工作场所、没有老板约束、流动性极强的性工作者开展宣传教育和行为干预是所有相关的项目都碰到的难题，因此建议类似项目之间应建立稳定的联络机制，保证可以随时、随地进行交流，仅进行几次集中的研讨会是远远不够的。