IVD研发分析性能评估5---定性测定性能验证

2020-12-8 15:25| 编辑: 小桔灯网| 查看: 4644| 评论: 0|来源: IVD研发视野丨作者：溜溜NONO

摘要: 1.前言本文章主要引用《WS/T 505-2017 定性测定性能评价》标准中数据进行统计分析。同时参考CLSI EP12-A2《定性测定性能评价操作指南》数据进行统计方法确认。定性测定是临床实验室最为常用的方法之一，广泛用于各种 ...

1.前言

本文章主要引用《WS/T 505-2017 定性测定性能评价》标准中数据进行统计分析。

同时参考CLSI EP12-A2《定性测定性能评价操作指南》数据进行统计方法确认。

定性测定是临床实验室最为常用的方法之一，广泛用于各种疾病的筛查、诊断和处理。定性产品的性能评估相对定量产品更简单，但在行业研发和使用过程中同样存在一些概念的混淆和评价方法的不统一。

标准为用户对定性测定方法进行性能验证提供指导，性能验证除了解检测系统的质量外，还可满足医疗机构临床实验室管理办法和ISO15189实验室认可要求。制造商也可参考本标准进行定性产品的临床性能验证，性能验证除了评估检测系统质量外，还可满足法规和上市要求。

2.术语和定义

C5~C95区间：临界值附近的分析物浓度，可认为此浓度区间外的分析物检测结果始终为阴性（浓度小于＜C5）或始终为阳性（浓度大于＜C95）

（由于不精密度的存在使得这一区间之内的检测结果并非始终一致；C5为5%被检样品可被判定为阳性时的分析物浓度；C95为95%被检样品可被判定为阳性时的分析物浓度）

50%浓度C50：接近临界值的分析物浓度，多次重复检测此浓度的单一样本时将分别获得50%的阳性结果和50%的阴性结果。

临界点/值：在定性试验中，临界点是指检测反应的某一点，低于此检测反应点的定性检测结果被判定为阴性，而高于此点被判定为阳性。

金标准：一个能得到的最接近真实情况的过程或材料。

敏感性（真阳性率）在患有明确临床疾病的患者中，诊断性试验检测为阳性或超过决定限例数的比例，反映新试验正确判断是否罹患某种疾病的能力。

特异性（真阴性率）在没有特定临床疾病的患者中，诊断性试验检测为阴性或在决定限范围内的比例，特异性反映新试验正确排除某病的能力。

假阴性：一份阳性样本或一个阳性患者，在诊断性试验中待检测的成分检测结果为阴性。

假阳性：一份阴性样本或一个阴性患者，在诊断性试验中待检测的成分检测结果为阳性。

真阴性：一个未患疾病或未处于某种疾病状态的被检对象得到阴性的检测结果。

真阳性：一个患有疾病或处于某种健康状态的被检对象得到阳性的检测结果。

阴性预测值：检测为阴性的个体确实未患特定疾病的可能性。

阳性预测值：检测为阳性的个体确实患有特定疾病的可能性。

似然比：同时反映敏感性和特异性的复合指标。阳性似然比为真阳性率与假阳性率之比；阴性似然比为假阴性率与真阴性率之比。

流行率：与特定的人群中总的成员数相比，患病或处于某种特定健康状态下的人数所占的比例。

筛查试验：通常用于检测整个人群中特定待测物或因子的存在情况，应具有高敏感性以确保真正罹患某种疾病的患者被检出（检出率大于95%），对特异性的要求则取决于各种因素的综合考虑。

诊断试验：定性试验用于临床怀疑某种特定疾病或是状况是否存在的诊断，具有高敏感性和特异性。

确认试验：用于验证筛查或是诊断试验结果。

3.总体要求

性能验证前应对实验室技术人员进行必要的培训，培训内容包括检测系统的熟悉，样本和试剂的处理保存，检测操作程序，检测系统的质量控制方法，检测结果的合理解释。

性能验证过程中，每一批次实验都应加入试剂盒的阴阳性质控品同时检测，只有阴性和阳性质控品的结果符合预期，才可认定实验数据有效。

性能验证实验结束后应立即对数据进行记录和核查，以早期发现分析系统及人为误差的来源。

4.临界点重复性研究

这里的重复性指的是临界点的重复性，对于显示数值进行判定阴阳性的试剂，可参照EP5精密度评估方法评估检测参考品的精密性。

临界点重复性研究没有复杂的统计，通过不同浓度样品检测结果的阳性符合率与预期规定要求进行比较，判定重复性是否合格。

试验目的：验证定性检测试剂盒的临界点重复性。

试验设计：首先确定临界值浓度，通过说明书或是将阳性样本倍比稀释后重复检测得到50%阳性和50%阴性的稀释浓度）。然后制备评价用样本，制备3份样本，一份浓度为C50，一份为C50-20%，一份为C50+20%，每份样本体积需保证40次或更多次重复检测的需要。最后使用定性测定系统对每份样本检测40次。确定每一份样本的阳性和阴性百分比。

统计方法：判定C50是否准确→候选方法的-20%~+20%浓度范围是否包含了C5~C95区间。

对C50浓度重复检测40次，阳性率在35%~65%之间时，则C50是准确的；

对C50-20%和C50+20%样品重复检测40次，阳性/阳性率小于87.5%和阴/阳性率大于90%的判定组合共有4种不同类型结论。

类型	样本浓度	阴性或阳性所占比例	结论
1	+20%	阳性结果≤87.5%（35/40）	-20%~+20%的浓度范围在C5~C95区间之内；用该方法检测，浓度超过C50±20%的样本检测结果不一致；此结论错误率5%，需使用更宽浓度范围（如±30%）的样本进行另外试验。
1	-20%	阴性结果≤87.5%（35/40）
2	+20%	阳性结果≥90.0%（36/40）	-20%~+20%的浓度范围包含了C5~C95区间；用该方法检测，浓度超过C50±20%的样本检测结果一致；
2	-20%	阴性结果≥90.0%（36/40）	-20%~+20%的浓度范围包含了C5~C95区间；用该方法检测，浓度超过C50±20%的样本检测结果一致；
3	+20%	阳性结果≥90.0%（36/40）	-20%~+20%的浓度范围只是部分在C5~C95区间内（+20%包含了C5~C95区间，但-20%浓度样本在C5~C95区间内；需要用低于C50更大百分率浓度样本（如-30%）进行补充试验。
3	-20%	阴性结果≤87.5%（35/40）
4	+20%	阳性结果≤87.5%（35/40）	-20%~+20%的浓度范围只是部分在C5~C95区间内（+20%在C5~C95区间内，但-20%浓度样本包含了C5~C95区间；需要用高于C50更大百分率浓度样本（如+30%）进行补充试验。
4	-20%	阴性结果≥90.0%（36/40）

5.准确性研究（方法学比较）

试验目的：通过方法学比较验证定性检测试剂盒的准确性

试验设计：为有效评估方法的敏感性和特异性，作为最低要求，检测应持续到至少用比较方法获得50例阳性样本以确定此种检测方法的敏感性，并且至少用比较方法获得50例阴性样本以确定此种检测方法的特异性。

下表为FDA批准的10个新型冠状病毒抗体检测试剂盒的临床性能统计，从表中可以看出样本大厂家的使用的样本数量较多，并且阴阳性样本的占比接近新冠流行率。

统计方法：确定数据分析类型→根据规定的分析方法进行统计敏感性、特异性等指标。

①用诊断准确度标准进行比较评价

阳性预测值和阴性预测值仅适用于受试者的疾病流行率或流行谱与实际检测人群的疾病流行率相差不大的情况。

② 真实诊断未知比较评价

真实诊断未知的比较评价与用诊断准确度标准进行比较评价的差别是统计指标由敏感性和特异性转变为阳性符合率和阴性符合率。

③ 定性试剂一致性比较

通过卡方检测判定阳性符合率是否具有统计学差异，如无统计学差异说明两方法检出效果较一致，另外再通过kappa值验证两者检测结果是否具有一致性。kappa值位于【-1，1】，kappa≥0.75时两组结果一致性较好；0.75>kappa≥0.4两者一致性一般；kappa<0.4表示两者一致性很差。

声明：

1、凡本网注明“来源：小桔灯网”的所有作品，均为本网合法拥有版权或有权使用的作品，转载需联系授权。
2、凡本网注明“来源：XXX（非小桔灯网）”的作品，均转载自其它媒体，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。其版权归原作者所有，如有侵权请联系删除。
3、所有再转载者需自行获得原作者授权并注明来源。