来源:小桔灯网 作者:xiaowanzi 由国家药品监督管理局医疗器械技术审评中心组织起草的《定性检测试剂性能评估注册技术审查指导原则(征求意见稿)》(2019年9月25日)中对定性检测试剂阳性判断值的确定相关内容如下: 申请人应当详细说明阳性判断值确定的方法或依据,采用样本的来源与组成,确定临床诊断信息的方法并提交阳性判断值建立的研究资料。 建议使用具有统计学意义数量的受试者样本,样本为包含一定比例的阴、阳性样本的有代表性的目标人群样本,应充分考虑到地域性、季节、不同感染阶段/肿瘤分期和生理状态等的影响因素。推荐采用受试者工作特征曲线(ROC)的方法确定阳性判断值。此方法适用于可给出量值/信号值或计数值的定性检测试剂。可使用临床诊断信息进行阴阳性判定,但注意此临床诊断标准必须可靠。如实验结果分析存在灰区,应明确灰区建立的基础。 这篇文章中主要跟大家一起学习一下上述所提及内容。首先举两个已获批的试剂盒的审评报告中有关阳性判断值的描述,之后跟大家分享一下如何使用ROC方法确定阳性判断值。 01 两个已获批的试剂盒的审评报告中有关阳性判断值的描述 1.1人EGFR/KRAS/BRAF/HER2/ALK/ROS1基因突变检测试剂盒(半导体测序法)(国械注准20203400094) 对于DNA的阳性判断值,申请人前期采用了200例临床样本进行初步确认,然后对临床试验中收集的550例临床样本的试验数据进行补充分析验证。共收集750例临床样本的检测数据,分别统计其检出情况及数据质量。通过ROC曲线方式确认均以1%作为点突变和插入/缺失突变的阳性判断值可以有效区分样本突变的定性结果;数据汇总分析得出DNA数据分析质控指标Uniformity≥75%、Mean Depth≥1000,否则检测结果无效。 1.2 RNF180/Septin9基因甲基化检测试剂盒(PCR荧光探针法)(国械注准20203400447) 申请人采用ROC 曲线法确定阳性判断值。申请人采用本产品对961例临床样本进行检测,其中包括胃癌样本393 例 (I期 66 例、 II 期 68 例、 III 期 173 例、 IV 期 33 例、分期不明53 例),浅表性胃炎样本184例,萎缩性胃炎样本 170例,其他胃部疾病样本 39 例,其他癌症样本 175 例(大肠癌、食管 癌、胰腺等)。 试验结果显示 ACTB基因的Ct 值≤ 34.8时,样本检测结果有效。在确定样本检测结果有效的情况下,确定了针对RNF180基因的Cutoff值为 dCt≤9.0 、Septin9基因的Cutoff值为 Ct 值≤45.0,同时由于本产品采用三平行重复的孔检测,单个基因的结果在2/3阳性或3/3 阳性时,判定为检测。当 RNF180基因、 Septin9基因分别有一个为检测阳性或两均基因分别有一个为可判定为检测阳性。 02 如何使用ROC方法计算阳性判断值 有很多软件以及R语言都可以做ROC曲线并计算阳性判断值,使用R语言的方法可学习视频《R语言快速绘制ROC曲线》(https://www.bilibili.com/video/BV175411Y75u?spm_id_from=333.905.b_72656c61746564.4)这里不再赘述。本篇讲一下如何用SPSS来绘制ROC曲线,并找到截断值。 假设某实验室人员选用一种新方法对同一批患者进行了诊断,患者的真实状态已知。actual代表真实患病状态,即以金标准(如病理诊断)判断是否患病的结果,其中1代表患病,0代表不患病;assay1代表一种新检验方法测量的结果。 2.1用SPSS进行ROC曲线的绘制 1)选择Analyze→ROC Curve… 2)主对话框设置:将已知的疾病情况actual送入State Variable框中,assay1送入Test Variable中,并在Value of State Variable框中填1(即代表患病状态),在Display中选择所有,其中Coordinate points of the ROC Curve会给出曲线上的坐标点→OK。 3)结果 a) ROC曲线 b) ROC曲线下面积:从Area Under the Curve的结果可知,assay1的ROC曲线下面积为0.856(95%置信区间:0.825-0.886,P<0.001)。 c) ROC曲线上的坐标点:如下图所示,我们可以根据Coordinates of the Curve的结果可以得到一系列灵敏度和1-特异度的值。 2.2 阳性判断值计算 要想获得截断值,就是最接近左上角(0,1.0)的点所对应的坐标点,我们可以将这两列值复制到Excel表中,根据正确指数最大选出最佳临界点。 正确指数又称约登指数(Youden’s index),表示检验方法发现真正病人与非病人的总能力,是灵敏度与特异度之和减去1,即约登指数=灵敏度+特异度-1,在Excel中,用灵敏度-(1-特异度)得到的就是约登指数,对相减的结果进行排序,可以得到正确指数的最大值,即最佳临界点。 操作:将数据复制到excel中,计算灵敏度-(1-特异度),选中D列,进行降序排列,得到约登指数的最大值约为0.5631,对应的灵敏度≈90.2%,特异度≈(1-0.338)=66.2%。 |