AUC这个指标，对IVD产品来说有什么价值？
2024-11-4 00:42|
编辑: 小桔灯网|
查看: 456|
评论: |来源: 诊断科学
摘要: 对于体外诊断试剂来说，检测效能是指什么？它可能是灵敏度，是特异性，是精密度，是准确性，是检测限，是定量检测限，或者是前面这些参数的合集。当然，在更多的时候，当我们说到检测效能的时候，指的是ROC曲线下面 ...
| 它可能是灵敏度，是特异性，是精密度，是准确性，是检测限，是定量检测限，或者是前面这些参数的合集。当然，在更多的时候，当我们说到检测效能的时候，指的是ROC曲线下面积，也就是AUC。AUC可以用来评估定性体外诊断试剂这样二分类模型的性能，它的值在0.5到1之间，其中，0.5表示试剂的性能等同于随机猜测，而1表示试剂具有完美的分类性能。所以，如果AUC值越大，说明试剂的分类能力越强，也就是越能有效地区分阳性样本和阴性样本。在实际应用当中，AUC值是可以帮助我们理解试剂在不同临界值设置下的表现。一个高AUC值意味着，当我们随机选择一个阳性样本和一个阴性样本的时候，试剂对阳性样本的检测结果，更有可能大于阴性样本的检测结果。当然，如果是负相关的话，这也是成立的，只不过要做一些数学上的处理，比如取绝对值之类的。所以啊，我们可以这么去理解AUC值，那就是，如果你各挑选一个阳性样本和阴性样本，那么，你的试剂对阳性样本的检测结果，应该会大于阴性样本的检测结果。AUC就是这么一个指标，它并不依赖于你为你的诊断试剂确定的临界值，当然更不包括参考区间，所以呢，反而可以更全面的来评估试剂的性能。对于AUC研究来说，一般情况下是120例左右的样本，阴阳性样本各半就可以了。但要注意一点，现在很多朋友谈到试验的时候，就直接文，多少例样本合适？其实这是很不对的。因为光谈样本量没有价值，样本组成是同样需要注意的问题，这一点，我之前在《五分钟弄懂样本量》当中做过详细的阐述。如果只是为了通过药监的审评，那么只谈样本数量也没有用，基本上现在的指导原则当中，都会增加对不同样本的需求；而如果你的目标是为了真正评价自己的产品是否满足市场需求，那就更需要对样本组成进行精心设计了。那么，我们能不能通过AUC这个指标，来指导产品开发呢？答案是不能，因为当你需要做ROC的研究的时候，也就意味着你的试剂盒，已经定型了。原因就是我上面谈到的，用于ROC研究的这套参考品，它不仅样本量不算少，而且可能还要包括很多不同类型的样本，这也就意味着，这套参考品的成本不低。同时，至少120例样本的实验做下来，人力、时间、设备、试剂、耗材的成本都不会太少，这样的实验只能用来对你已经定型的产品进行评估，而不能用来作为你开发思路的验证指导，毕竟，地主家也没有余粮啊！最后，我说一个最近遇到的很有趣的问题，“能不能用AUC对定量试剂的一致性进行评估？”原因就是我前面说到的，AUC只能用于定性试剂这样的二分类模型性能评估，而定量试剂本身就不是二分类模型。而且，就算是对于定性试剂而言，也不能将AUC用于定性试剂的临床一致性评价当中，因为AUC评估是不考虑试剂的临界值设定的，但是，临床一致性评价，是需要把试剂的临界值纳入的。所以，定性试剂的临床一致性评估还是应该用2x2格表，定量试剂还是得用B-A法。
|
声明：
1、凡本网注明“来源：小桔灯网”的所有作品，均为本网合法拥有版权或有权使用的作品，转载需联系授权。
2、凡本网注明“来源：XXX（非小桔灯网）”的作品，均转载自其它媒体，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。其版权归原作者所有，如有侵权请联系删除。
3、所有再转载者需自行获得原作者授权并注明来源。
/3 
浙公网安备33010802005999号 
