AGREE II概述详见临床实践指南质量评价——指南研究与评价工具II (Appraisal of Guidelines for Research & Evaluation, AGREE II) (一)
AGREE II评价清单详见临床实践指南质量评价——指南研究与评价工具II (Appraisal of Guidelines for Research & Evaluation, AGREE II) (三)
AGREE II评价清单详细内容的“领域 1. 范围和目的”和“领域 2. 参与人员”详见临床实践指南质量评价——指南研究与评价工具II (Appraisal of Guidelines for Research & Evaluation, AGREE II) (四)
AGREE II评价清单详细内容的“领域 3. 开发的严谨性”详见临床实践指南质量评价——指南研究与评价工具II (Appraisal of Guidelines for Research & Evaluation, AGREE II) (五)
AGREE II评价清单详细内容的“领域 4. 表达的明晰性”和“领域 5. 应用性”详见临床实践指南质量评价——指南研究与评价工具II (Appraisal of Guidelines for Research & Evaluation, AGREE II) (六)
AGREE II评价清单详细内容的“领域 6. 独立性”和“指南全面评价”详见临床实践指南质量评价——指南研究与评价工具II (Appraisal of Guidelines for Research & Evaluation, AGREE II) (七)
关键词:临床实践指南质量评价; 指南研究与评价工具; AGREE Ⅱ
二、AGREE II的使用
(一) AGREE II使用准备
建议至少2位,最好4位评价员独立评价每个指南,以增加评价结果的可靠性。使用AGREE II之前,应仔细阅读指南全文,并应努力熟悉指南开发过程中的所有信息。这些信息可能与指南的推荐建议在同一个文件中,也可能放在一个单独的技术报告、方法学手册或政策声明里。这些支持文件可能被正式发表或在网站上公开。虽然指南制定者有责任告知是否存在支持文件以及具体存放位置,但AGREE II使用者仍需要尽量寻找并获得这些文件,以纳入评估材料。
(二) AGREE II的使用
1. 评分表
AGREE II六个领域的每个条目和二个全面评价条目均按7分划分等级(见表2,1代表很不同意,7代表很同意),每个评分表均包含条目说明、查找信息及如何评价3个附加部分,以进一步指导使用者进行评价。
表2 AGREE II所有条目7分等级评分表
1 Strongly Disagree 很不同意 | 2 | 3 | 4 | 5 | 6 | 7 Strongly Agree 很同意 |
1分(很不同意)。如果没有与AGREE II条目相关的信息,或者报告的内容非常差,或者作者明确指出不符合标准,则评1分。
7分(很同意)。如果报告的质量很高,满足用户手册要求的所有标准和考虑因素,则评7分。
2-6分。如果报道内容不满足全部标准或考虑因素,则视情况给予2-6分。具体分值取决于报告内容的完整性和质量,满足的标准或考虑因素越多分值越高。在“如何评价”部分包含了每个条目详细的评价标准和具体细节。
2. 条目说明
这部分从广义上界定了条目的基本概念,并举例说明。
3. 查找信息
这部分指引评价者通常在指南的什么地方能找到所需要的信息,并包括用于标记指南各个章节的常用术语,但这只是一些建议。评价者应当阅读指南的全部内容及其附件材料,以确保做出准确全面的评价。
4. 如何评价
这部分包括每个条目的评价标准和需要考虑的因素,清楚阐明了该条目具体执行过程中的详细判断标准,满足的标准越多,在该条目上的评分越高;具体的考虑因素细节有助于为评价提供丰富信息。正如所有评估过程一样,必须由评价人员做出判断。在指南里对因素考虑越周全,在该条目上的评分越高。
需要注意的是,指南的评价要求评价者具有较高水平的评价能力。这里提供的标准和考虑因素是用来指导评价,而不是取代评价人员的评价能力。因此,AGREE II条目没有为评分表中每一分提供明确的解释。
5. 应用AGREE II的其它注意事项
有时,针对一些特定的指南,AGREE II的某些条目可能并不适用。例如,使用范围较小的指南可能不会提供处理疾病的所有选择(见条目16)。AGREE II 评分表里没有“不适用”这一选项;对此,可用不同的办法进行处理,包括评价人员在评价过程中跳过这个条目,或者评分为1分(信息缺失),并提供关于这个分值的说明。不管选择哪种方法,都必须提前决定,并明确描述。如果跳过该条目,需要适当修改该领域的分值计算。原则上,不主张在评价过程中剔除某个条目。
(三) AGREE II评分
AGREE II分别计算各领域的计分。6个领域的分值是独立的,不能将其合并为一个总得分。
1. 各领域得分的计算方法
每个领域得分等于该领域中每一个条目分数的总和,并标准化为该领域最大可能得分的百分比。例如:
4位评价者给领域1(范围和目的)的评分如下:
条目1 | 条目2 | 条目3 | 总计 | |
评价者 1 | 5 | 6 | 6 | 17 |
评价者 2 | 6 | 6 | 7 | 19 |
评价者 3 | 2 | 4 | 3 | 9 |
评价者 4 | 3 | 3 | 2 | 8 |
总计 | 16 | 19 | 18 | 53 |
最大可能得分= 7 (很同意)×3 (条目)×4 (评价者) = 84
最小可能得分= 1 (很不同意) ×3 (条目)×4 (评价者) = 12
领域得分是:
\(\frac{\text { 实际得分 }- \text { 最小可能得分 }}{\text { 最大可能得分 }- \text { 最小可能得分 }}\)
\(\frac{53-12}{84-12} \times 100=\frac{41}{72} \times 100=0.5694 \times 100=57 \%\)
如果评价过程中没有包括某些条目,则需要适当修改最大可能得分和最小可能得分。
2. 领域分值的解释
领域得分可用于辨识指南的优势和局限性,比较指南之间的方法学质量差异,或选择高质量的指南进一步优化、推广和运用。目前尚无经验性数据将指南得分和实际运用相关联,如如何区分高、中、低质量。在这些数据缺失的情况下,AGREE II研究团队于2017年11月在其手册中对6个领域的标准化得分进行了补充解释,提供了一些具体的示例做法供使用者参考:
- 优先考虑某个领域的得分来划分指南质量:通过专家共识决定或基于领导决定,优先考虑某个领域的得分来划分指南质量。如,将领域3得分>70%的指南划分为高质量指南。
- 分阶段进行AGREE II评估:如果使用者认为某个领域比其他领域更重要,可以优先评估该领域的质量。只有满足该领域的质量阈值的指南(如>70%),然后才进行其他五个领域的评估。
- 考虑所有领域得分:使用者可以通过专家共识或领导决定(如,规定所有领域得分都>70%的指南为高质量指南)。当然,使用者也可以为每个领域设置不同的判断阈值标准。
- 动态评估质量(根据时间推移改进界值):使用者可以规定随着时间的变化指南质量改进的大小(如,在五年的时间内,每个领域得分至少提高10%)。
需要注意的是,阈值应该由所有相关成员在开始AGREE II评估之前基于指南的背景、不同领域的重要性等共同讨论决定。
3. 全面评价
在完成了23个条目评价之后,还应完成2个全面评价条目。全面评价需要评价者综合考虑每个评估标准,对指南的质量做出准确的综合判断,并要求回答是否推荐使用该指南。
注:本文内容是参考相关文献后对指南研究与评价工具II (Appraisal of Guidelines for Research & Evaluation, AGREE II)的概述,仅代表本网站观点。关于AGREE II的更多内容详见网站http://www.agreetrust.org/。