立即注册找回密码

QQ登录

只需一步,快速开始

微信登录

微信扫一扫,快速登录

手机动态码快速登录

手机号快速注册登录

搜索
小桔灯网 门户 资讯中心 杂侃天下 查看内容

能力验证:从组织实施到结果分析(更新)

2021-12-24 10:10| 编辑: 归去来兮| 查看: 3925| 评论: 0|来源: 原博士带你做检测 | 作者:原博士

摘要: 实验室的质量控制主要由两部分组成:内部质量控制和外部质量控制。内部质量控制通过检测实验室平时使用有证标准物质和质控品来实现。通过内部质量控制可以对“人机料法环”的各个环节进行监控保证检测的质量。外部质 ...

实验室的质量控制主要由两部分组成:内部质量控制和外部质量控制。内部质量控制通过检测实验室平时使用有证标准物质和质控品来实现。通过内部质量控制可以对“人机料法环”的各个环节进行监控保证检测的质量。外部质量控制通过能力验证来实现。通过能力验证我们可以发现一个实验室的系统性误差,再通过内部质量控制对每个环节进行验证,进而发现问题,进行纠正。两者相辅相成。


一、能力验证

实验室间比对interlaboratory comparison:两个或两个以上实验室在预设条件下对同一或相似的检测对象进行测量或检测的组织、实施和评价活动。

能力验证Proficiency Testing (PT):利用实验室间比对,按照预先制定的准则评价参加者的能力。


二、能力验证的组织

1.能力验证计划

(1)CNAS认可的能力验证提供者(PTP)以及已签署PTP相互承认协议(MRA)的认可机构认可的PTP在其认可范围内运作的能力验证计划;

(2)未签署PTP MRA的认可机构依据ISO/IEC 17043认可的PTP在其认可范围内运作的能力验证计划;

(3)国际认可合作组织运作的能力验证计划;

(4)国际权威组织实施的实验室间比对

(5)依据ISO/IEC 17043获准认可的PTP在其认可范围外运作的能力验证计划;

(6)行业主管部门或行业协会组织的实验室间比对;

  (7)其他机构组织的实验室间比对。

      在我国PT主要由CNAS认证的能力验证提供者(PTP)来提供,但是PTP的数量较少无法满足市场多样化的需求,行业的主管部门和行业协会应发挥作用,根据行业需要积极组织本行业的能力验证,提高整个行业的实验室水平。


2.方案设计

(1)实验的目的

(2)参加者数量、类型和参加条件

(3)日程安排

(4)检测方法

(5)结果评价标准

(6)样品类型和量值

(7)反馈结果的报告格式

(8)样品储存、运输和分发

(9)样品的制备和均匀性、稳定性检验

(10)数据处理和采用的统计分析

(11)报告的编写


3.比对样品制备

 目前检测主要是核酸检测和血清学检测。

(1)核酸检测样品的制备:

    目前核酸检测的PT大部分是定性的样品,定性样品的缺点是量值无法确定,结果无法分析,如果下次继续开展相同项目,两次制备的样品无法做到相同的浓度,因此结果缺乏连续性。

    对于核酸检测的PT样品首选是经过数字PCR定量的定值质控品和有证标准物质。推荐使用灭活的全病毒或假病毒,以保证对所有诊断试剂的适用性。样品需尽量与其日常测量物品相同或类似,且被测量在大致相似的浓度水平 。从新冠病毒的PT来看,对实验室的最低检测能力应至少达到1000 copies/mL(1  copies/μL)。

(2)血清学检测样品的制备:

    血清学检测的PT样品首选是通过实验制备的单因子血清,或使用金标准方法进行标定或者能够溯源到国际单位(如果有国际标准物质)。


(3)样品设计原则:

    应至少包含阴性、低浓度和中(或/和高)浓度样品、2-3个重复样品,除此之外还可以包含不同基因型、不同基质、免疫或攻毒、以及不同来源的天然感染样品等。但是每次的PT样品数量不宜过多,可以每次关注一两个方便,分多次实施。最好可以使用定量的样品。

4.样品的均匀性和稳定性检验

(1)均匀性检验:

    通常从总体样品中随机抽取10个或10个以上样品进行均匀性检验,每个样品在重复条件下至少检测两次。个人建议首选液体的样品进行能力验证,这样的均匀性更容易保证。样品的均匀性可以通过F 检验进行评价。

(2)稳定性检验:

     PT样品的稳定性检验,只要评估PT持续期间和运输环境下的稳定即可。取样数≥2,每次单独取样,每个样品重复测试3次以上 ,测量数据≥6。当将各时段的测量结果与第一次测量的结果进行比较,使用t检验进行分析。


三、能力验证的结果分析

1.指定值的确定

指定值的选择与计算是能力验证计划成功的关键,实施机构需采用适当的指
定值确定方法。

(1)已知值:来自标准库或参考实验室经过鉴定的样品 。或根据特定能力验证物品配方(如制造或稀释)确定的结果

(2)有证参考值:可直接用有证标准物质/标准样品作为能力验证样品,它能提供一个独立于参加者测量结果的标准值,并能提供相应的溯源再现性。

(3)专家公议值:由专家实验室进行实验室间比对确定指定值。

(4)参加者公议值(consensus value from participant results) 

使用统计学方法,考虑到离群值的影响因素、以参加者结果的稳健平均值、中位数等作为指定值。参加者公议值是能力验证中最常用的指定值的确定方法。

优点:无需额外测试即可获得指定值,该方法适用于标准化、程序化的被测量结果。

缺点:参加者的一致性可能不够充分,方法或参加者的结果存在偏倚而使公议值发生偏倚 ,难以确定公议值的计量溯源性。


2.离群值的剔除

能力验证的结果在统计分析前应首先进行离群值的剔除。

(1)明显错误的结果 :

如单位错误、小数点错误、 计算错误或者错报为其他能力验证物品的结果,应从数据集中剔除, 单独处理。这些结果不再计入离群值检验或稳健统计分析。明显错误的结果应由专家进行识别和判断。 

(2)使用统计方法剔除离群值 :

  通常使用格拉布斯(Grubbs)检验、科克伦(Cochran)检验和四分位距(interquartile range, IQR)的方法来剔除异常值。

   1.5-3IQR为可疑值,大于3IQR为离群值。

(3)离群值剔除后的数据处理:

    如果某结果作为离群值被剔除,则仅在计算总计统计量时剔除该值。但这些结果仍应当在能力验证计划中予以评价。


3.结果统计

3.1定性结果统计

参考《全国新型冠状病毒德尔塔变异株核酸检测室间质量评价能力验证报告》

“EQA/ PT 成绩计算  :室间质量评价主要是计算参评实验室对质样本的测定结果与预期结果的符合程度,根据符合率来判断参评实验室能力是否合格(合格标准为100% 符合 )。定性结果根据参评实验室阴阳性结果与预期是否符合,计算符合率。对检测项目的评价为:(某项目测定结果可接受样本数 /某项目样本总数)×100 =本次某项目测定得分, 如果该项目得分等于 100% 则为合格 ,否则为不合格。未按时回报结果亦为不合格。

3.2定量结果分析

    对于定量结果分析,参与PT的有效实验室数量需大于等于15家,实验室数量越少统计的误差就越大,实验室数量越多,统计结果越接近真实值。

(1)能力评定统计量

平均值Average`X

标准偏差Standard Deviation,SD

变异系数Coefficient of variation,CV

极大值Maximum value,Max

极小值Minimum value,Min

差值Difference,D

中位数Median,Med

极差Range, R

变异系数指数Coefficient of variationRatioCVR实验室精密度评价指标

ZZ-score由能力验证的指定值和能力评定标准差计算的实验室偏倚的标准化度量。 实验室准确度评价指标,是PT中最重要的评价指标。

当| Z |≤2.0,表明能力满意,无需采取进一步措施;

当2.0<| Z |<3.0,表明能力有问题,产生警戒信号;

当| Z |≥3.0,表明能力有不满意,产生措施信号;。

某些要求严格时,| Z |>2.0 也可被视为不满意结果。

    

    一般情况下Z值的判定仅适用于符合正态分布的数据,因此如Ct值这类经过转换过的数据不适用于Z值的判定,但是目前大家也都还在使用(可能是还没有找到更好的评价指标)。所以我对Ct值结果进行Z值判定时,通常选用2作为是否满意的标准。


尧敦图Youden plot:能显著地表示出实验室的系统偏差。超过95%概率的置信区域为有疑问结果(警戒信号),超过99%概率的置信区域为不满意结果(行动信号)。

其他:还有很多统计方法正在学习中。。。


(2)每个参加实验室的结果分析

对每个实验室的检测结果进行统计汇总


(3)每个浓度所有实验室的汇总分析

X、SD、CV、Max、Min、R、Med和四分位距

统计量

高值

170  cp/μL

中值

17  cp/μL

低值

1.7  c/μL

组间平均值

28.48

32.00

35.30

组间SD

1.08

1.14

1.24

组间CV

3.79%

3.58%

3.52%

最大值

30.07

33.92

37.55

最小值

25.82

29.17

32.36

极差

4.25

4.75

5.19

中位数

28.62

32.19

35.26


箱线图

(4)每个浓度各家实验室的统计分析

计算每家实验室`X、SD、CV、CVR、Z、D


z值和CVR图


实验室104,116,117 CVR大于2,结果不满意,需要采取行动,提示检测精密度存在问题。

实验室114,115  | Z |大于2,需要警惕;实验室112 | Z |大于3,结果不满意,需要采取行动,提示检测准确度存在问题。


(5)评估每个实验室在该项目的整体水平


    Youden plot图

    Youden plot显示实验室106 超出95%置信区间,需要警惕;实验室116和112超出99%置信区间,结果不满意,需采取行动。


4.比对结果分析和建议

    在《2021年全国新型冠状病毒核酸检测(接收集中隔离点样本检测机构)室间质量评价/能力验证(1月)》中就给出了结果和和建议:

“本次EQA/PT成绩合格的实验室占98.2%(933/950)......1.2×104 copies/mL的样本有9家实验室未检出,这两份强阳性样本的漏检,说明这些实验室的检测能力存在严重问题。3.0×103 copies/mL的样本有14家未检出,根据《医疗机构新型冠状病毒核酸检测工作手册(试行第二版),“对集中隔离人员,应选择高灵敏(检测限≤500copies/mL)的试剂”,因此,3.0×103 copies/mL的漏检同样不应该出现。

......说明部分基层医疗机构、疾控部门核酸检测实验室亟需提高人员素质和质量管理能力,这些实验室必须认真寻找原因,进行整改,例如加强人员操作培训;对包括人员、仪器、试剂、环境和标准操作程序在内的实验室检测系统(人、机、料、法、环)重新进行性能验证,以保证实验室检测质量,避免假阴性结果;同时,采用弱阳性质控品(通常为检出限的1.5~3 倍)进行室内质量控制,以在日常工作中监测实验室对弱阳性样本的检测能力等。

    后续临检中心将进一步加强对实验室检测能力,特别是弱阳性样本检测能力的考核,从而促进接收隔离点新型冠状病毒核酸检测样本的核酸检测实验室的质量改进和检测能力的提升。 ”


5.纠正措施

   能力验证的目的是发现不足,及时采取纠正措施,进而提高实验室的能力。所以能力验证完成后,如果出现警戒或不满意结果,需要从“人机料法环”各个环节开展实验室内部的质量控制,及时发现问题,解决问题。通常采取的纠正措施有:

(1)核查相关人员是否理解并遵循测量程序;

(2)核查测量程序的所有细节是否正确;

(3)核查设备校准和试剂的成分;

(4)更换可疑 的设备或试剂;

(5)与另一个实验室进行人员、设备和/或的试剂的比对测试等。

(6)采取纠正措施后应再次申请PT,验证整改的效果。


6.连续能力验证计划

    实验室可参加连续能力验证计划监测其工作质量随时间的变化情况。参加的连续能力验证需是同一参数在相同或近似水平范围内的多轮次能力验证计划,可以识别出与随机误差、系统误差或人为错误等相关的潜在问题。

    连续能力验证结果的利用可采用统计或图示的方法进行,其中将多轮次的能力评定结果制成控制图,以此来监测实验室工作质量随时间的变化,识别实验结果的趋势和其他特征。


7.能力验证结果不是处罚实验室的依据!

    一次能力验证结果并不一定证明参加者的能力或技术水平的优劣 。即使在一个运作良好、有经验丰富工作人员的实室,偶尔也会得到异常数据;同样,即使一个已由精密度试验验证为有效的标准测量方法 ,也有可能存在缺陷,而这个缺陷,而这个缺陷可能只在多轮能力验证后才显现;并且能力验证计划本身也可能存在缺陷。因此能力验证的结果不宜作为处罚实验室的依据。



本文能力验证相关案例数据和图片由北京中科基因技术股份有限公司和普道(北京)标准技术有限公司友情提供。



声明:
1、凡本网注明“来源:小桔灯网”的所有作品,均为本网合法拥有版权或有权使用的作品,转载需联系授权。
2、凡本网注明“来源:XXX(非小桔灯网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。其版权归原作者所有,如有侵权请联系删除。
3、所有再转载者需自行获得原作者授权并注明来源。

鲜花

握手

雷人

路过

鸡蛋

最新评论

关闭

官方推荐 上一条 /3 下一条

客服中心 搜索 官方QQ群 洽谈合作
返回顶部