关键词:床预测模型; 诊断模型; 预后模型; 报告规范; TRIPOD; 偏倚风险; 适用性
在临床预测模型文献解读之——内科学代表性文献:肺结核治疗不成功的临床预测模型(上)一文中按TRIPOD声明解读了【条目1~9】内容,在临床预测模型文献解读之——内科学代表性文献:肺结核治疗不成功的临床预测模型(中)一文中按TRIPOD声明解读了【条目10~17】内容,本文继续解读其剩余内容,并使用PROBAST清单对该研究的偏倚风险和适用性进行评价,最后对研究和文章的可借鉴之处与另外的局限性进行总结。
五、讨论
(一) 局限性
【条目18】讨论研究的局限性,如样本不具有代表性、样本量不足、数据缺失
【解读】作者列举了研究的局限性(图17、图18):①该研究的因变量/结局指标为综合指标,包括6种互斥的治疗结局,这些结局里有死亡、治疗失败等生物学和治疗不完整、未评估等行为学结局,他们之间存在异质性,可能有着不同的预测因子,可以分开建模预测;而且这些结局之间是互斥的,如果分开建模,需要考虑竞争事件和使用适宜的统计模型。②作者没有按照多重填补法的程序进行数据填补和分析,即根据Rubin规则进行系数的合并,而是将填补得到的多个数据集合并成了一个后进行主分析;对此作者给出的理由是将多重填补法和Bootstrap逐步向后法联合使用在软件实现上比较困难。这一做法是有争议的,笔者在前面也进行了讨论。③预测模型中的一些预测因子的获取或许有难度,不一定适用于所有的研究场景,比如监测数据中可能没有实验室检查指标。④作者使用自己的数据仅对Costa-Veiga模型进行了外部验证,未对其他已有的可能适用的模型进行验证。⑤作者未对自己建立的预后模型进行外部验证,但进行了Bootstrap内部验证。
(二) 模型解读
【条目19a】对模型在训练集和任何验证集上的评价结果进行讨论
【解读】因为不存在独立的验证集或随机/非随机划分的验证集,因此没有相关的讨论。但是,作者将自己建立的模型与Costa-Veiga等建立的肺结核治疗不成功预后模型进行了比较,表示自建预后模型的预测性能较好(图19-1)。其后,对预后模型中的预测因子与结局间的关联及相关证据进行性了讨论。
【条目19b】综合研究目的、局限性、类似研究的结果和其他相关证据,对研究结果进行总体解读
【解读】作者总结和描述了该研究的优点和局限性,认为在实施方面,该模型可能有助于识别治疗不成功的高风险个体,并对其进行针对性干预或修改治疗方案,例如那些持续时间较短但成本较高的治疗方案。风险阈值的实用性和可接受性应根据具体情况而定,并应与干预/治疗策略的预期成本效益相比较(图17、图18、图19-2、图19-3、图19-4)。
(三) 研究的意义
【条目20】讨论模型的潜在临床应用价值及其对未来研究的启示
【解读】在结论中,作者指出该研究开发和内部验证了一个简单、易用的临床预测模型,该模型使用7个常规的预测因素来估计接受标准治疗的药物敏感肺结核患者的治疗不成功的个体风险。该模型可以通过计算公式、列线图或网页应用程序进行操作和应用。尽管该模型在任何新环境中广泛实施之前需要外部验证,但从该模型得出的个体风险可能有助于未来的研究,为治疗不成功风险最高的患者合理分配资源或采取针对性干预措施(图20)。
六、其他信息
(一) 补充信息
【条目21】提供补充资料,例如研究方案、网络计算器和数据集
【解读】在Supplementary Data中,作者给出了补充材料的下载链接,其中包括Checklist、预测因子筛选、多重敏感性分析的结果等。未提供研究统计分析所使用的数据或源数据(图21)。
(二) 资助
【条目22】说明本研究的资金来源及资助者在本研究中的角色
【解读】在文末的Financial support中,作者罗列了涉及到的资助者(图22-1)。在Potential conflicts of interest中介绍了资金在研究中的作用(图22-2)。
以上是根据临床预测模型报告规范的报告条目清单对文章进行的解读,接下来通过PROBAST对文章进行偏倚风险评价,整体来看,本文偏倚风险较小,主要是在缺失值的处理上存在一些问题,详见表1。但根据偏倚风险评价规则:维度内若有高风险条目则认定为高风险,同时认定研究存在高的偏倚风险,由于存在1个高风险项目,所以该文章的偏倚风险暂被认定为高风险,
对于该研究的适用性,①该研究所纳入的研究对象为确诊肺结核、对标准一线药物敏感的患者,来源于RePORT-Brazil队列,与研究问题相匹配,可判定为低风险;②所选用的候选预测因子包括人口学特征、肺结核相关的临床特征和实验室检查指标,其定义和评价都由参与RePORT-Brazil队列研究的机构和专家负责,采集的时间为基线期,与所研究的问题匹配,可判定为低风险;③结局的定义参考了WHO相关指南,有明确、规范的定义,与所研究的问题匹配,可判定为低风险。
表1 PROBAST偏倚风险判断结果
主要问题 | 评价结果 | 维度评价 |
1 研究对象 | 低风险 | |
1.1 所用的数据来源是否合适?如来源于队列研究、随机对照试验或巢式病例对照研究的数据 | 是 | |
1.2 研究对象的纳入排除标准是否合适 | 是 | |
2 预测变量 | 低风险 | |
2.1 所有研究对象的预测变量的定义和评价是否一致或相似? | 是 | |
2.2 预测变量的评价是否与结局无关? | 是 | |
2.3 在模型使用时是否能得到所有的预测变量的数据? | 是 | |
3 结局 | 低风险 | |
3.1 结局指标的测量方法是否合适? | 是 | |
3.2 结局指标是否采用预先确定或标准的定义? | 是 | |
3.3 结局指标的定义是否排除了预测变量的信息? | 是 | |
3.4 所有研究对像的预测结局的定义和测量是否一致或相似? | 是 | |
3.5 结局指标的确定是否与预测变量无关? | 是 | |
3.6 预测变量的测量与结局指标测量的时间间隔是否合适? | 是 | |
4 分析 | 高风险 | |
4.1 发生结局的研究对象数量是否足够? | 是 | |
4.2 连续性变量、分类变量的处理是否恰当? | 是 | |
4.3 所有符合标准的研究对象是否均纳入了统计分析? | 是 | |
4.4 研究对象数据缺失的处理是否恰当? | 否 | |
4.5 预测因素的选择是否基于单因素分析(仅适用于模型开发阶段)? | 不适用 | |
4.6 数据中的复杂问题(如删失、竞争风险和对照抽样等)的处理是否恰当? | 不适用 | |
4.7 模型评价是否恰当? | 是 | |
4.8 是否考虑了过拟合或欠拟合等问题(仅适用于模型开发阶段)? | 是 | |
4.9 最终报告的模型预测因素及其权重是否与多因素分析结果一致(仅适用于模型开发阶段)? | 是 |
经过详细的文献解读和偏倚风险、适用性评价,可以认为该研究是一个值得学习的范例。从这篇文献中,我们可以借鉴以下10点:
①基于国家层面的肺结核队列和数据库进行研究,样本具有代表性,样本量相对充足,且满足因果推断的时序性;
②参考相应的指南、已有的研究和专家意见,选定候选预测因子,明确定义了预测因子和结局指标;
③通过Bootstrap抽样和逐步向后法以及既定的选中频率进行预测因子的筛选,所筛选到的预测因子更加可信,保证了稳健性;另外,作为敏感性分析,还使用LASSO回归和模型近似法进行了预测因子的筛选;
④使用多重填补法进行了数据填补进行主分析(虽然实际做法存在争议),并使用未填补数据集和填补出的10个数据集进行了敏感性分析;
⑤在数据处理阶段还考虑了预测因子间的共线性,连续性预测因子与结局风险的非线性关系,并对存在非线性关系的年龄通过限制性立方样条函数进行了敏感性分析;
⑥对建立的模型进行了区分度、校准度和临床净收益等角度的评价,同时报告了乐观度校正的评价指标;
⑦除了建立模型和内部验证,还考虑了HIV相关变量与异烟肼乙酰化可能带来的模型预测能力的增量;
⑧使用自己的数据对前人已建立的模型进行验证和比较,能体现出所建模型的优势,也使得研究内容更加丰富;
⑨根据模型预测的风险进行了分层,将研究对象分为低、中、高风险组,方便临床上快速识别患者的风险;
⑩严格按照临床预测模型报告规范进行研究报告,并在补充材料中给出了checklist。
关于该研究的局限性,除了作者在文中所提及,还可能存在以下4点局限:
①未使用流程图或文字描述研究对象整体的纳入和排除情况,包括纳入的总例数、各种原因排除的例数;
②未报告剔除有缺失的研究对象后,发生结局事件的研究对象例数;
③从随访时间(中位随访时间100+天)来看,作者还可以基于Cox比例风险模型进行模型开发,或者作为敏感性分析;
④肺结核治疗不成功的比例为20%,发生率较高,在这种情况下仍基于二分类logistic回归进行建模,所得到的预测因子系数及OR值会有偏倚,可改用Cox比例风险模型、修正Poisson回归或log-binomial模型等;
总的来说,虽然作者未对建立的模型进行外部验证,但合理的研究设计与模型开发过程,以及对相关候选预测因子增量的考虑和已有模型的外部验证及比较,再加上大量的敏感性分析,使得该研究丰富多彩,内部效度较高。但也诚如作者所言,用户在使用前,需要用自己的数据进行外部验证,以考察该模型的泛化能力。 关于TRIPOD声明的更多内容,详见Moons KG等作者发表的文章“Transparent Reporting of a multivariable prediction model for Individual Prognosis or Diagnosis (TRIPOD): explanation and elaboration (https://pubmed.ncbi.nlm.nih.gov/25560730/)”,曹煜隆等作者发表的文章“个体预后与诊断预测模型研究报告规范——TRIPOD声明解读(http://www.cjebm.com/article/10.7507/1672-2531.201912032)”。关于PROBAST偏倚风险评价的更多内容,详见Wolff RF等作者发表的文章“PROBAST: A Tool to Assess the Risk of Bias and Applicability of Prediction Model Studies (https://pubmed.ncbi.nlm.nih.gov/30596875/)”,陈茹等作者发表的文章“预测模型研究的偏倚风险和适用性评估工具解读 (http://chinaepi.icdc.cn/zhlxbx/ch/reader/view_abstract.aspx?file_no=20200530&flag=1)”。