1. IVD研发质量的重要性IVD(全称invitro diagnostic products),是指医疗器械、体外诊断试剂,以及药品,IVD作为医疗器械的分支,有特有的界定和法规监管。 IVD监管的最高级法律是《医疗器械监督管理条例》,条例就医疗器械产品注册与备案、医疗器械生产、医疗器械经营与使用、不良事件的处理与医疗器械的召回、监督检查等方面作了规定,条例及相关法规的核心是为了保证医疗器械的安全、有效,保障人体健康和生命安全。 IVD产品安全、有效性不足导至的后果,不像药品,或是植入性医疗器械不良事情引起的后果直观,药品和植入性医疗器械与人体直接接触,很直接地影响到人的生产健康,即俗话说的人命关天。 而IVD产品作为体外检测产品,检验指标仅作为参考,需要结合其它指标综合判断,检验指标的重要性和指标错误的危险性就不那么直观。但从以下两个例子可以看出,没有相应的检验指标,或是检验指标结果错误,导至的后果也可严重影响人命安全。 2016年X医院急诊科,患者34岁因腹痛、纳差至急诊,给予5%GNS,后诊断糖尿病酮症酸中毒,经抢救无效死亡。(应排除高血糖情况下用GNS补液) 2012年X医科大学附属医院血液科,患者因再障合并甲状腺功能亢进入院。6天肺部感染后昏迷,查静脉血糖为25mmol/L。高渗性昏迷、经抢救无效死亡。(指末血糖是5.5mmol/L) 医疗器械的安全、有效归结为产品质量,产品质量的首要把关人和责任人在研发,研发决定了IVD产品的安全性和有效性即是质量,其它部门影响或改进了IVD产品质量。统计结果显示,产品70%的质量问题是由设计不当引起的,所以我们应该在设计环节入手,优先解决设计的质量问题,这样成本最小,效果最好。 而在IVD研发中,设计合格的第一指标就是IVD产品的分析性能合格,下面详细介绍分析性能评估和验证的依据,分析性能评估中的精密度评估方法。 2. IVD产品分析性能评估和验证的依据。IVD产品分析性能评估和验证的依据主要有四类来源。 一是权威版本,美国临床和实验室标准协会(CLSI)发布的EP系列标准。 二是专业版本,中华人民共和国国家卫生和计划生育委员会发布的WS/T标准。 三是应用版本,中国合格评定委员会(CNAS)发布的标准。 四是监管版本,全国医用临床检验实验室和体外诊断系统标准化技术委员会(SAC/TC136)发布的YY/T标准。 除了上述四种分析性能评估验证方法标准来源外,作为医疗器械监督管理机构之一的“国家药品监督管理局医疗器械技术审评中心”也在2019年9月发布了《定量检测试剂性能评估注册技术审查指导原则(征求意见稿)》,医疗器械相关产品的注册资料需要满足指导原则要求。 作为IVD产品研发人员,上述几类来源的同类标准,均应该去学习和了解,可以根据标准发布的前后顺序安排,不同来源标准内容完整性和详实程度不一致,会有不同的立场和侧重点,可以加深标准的理解,有助于建立适用企业内部的分析性能评估方法,更能满足监管机构的要求,减少产品注册过程中的发补,另外由于此类的标准由检验医学界专家编制,有助于把握和了解用户需求,从而完善产品研发阶段的设计。 下文以《体外诊断检验系统 性能评价方法 第1部分:精密度》为依据,总结精密度评估的重点内容,使用excel计算实验室内精密度、实验室间精密度、95%置信区间的方法。 3.定量试剂分析性能评价方法(精密度)医学实验室对患者样品进行检验,一般情况下对每份样品只做一次检验就发出报告,因此要求检验结果必须具有良好或足够的精密度。这也是行业内将精密度列为产品分析性能第一位的原因。 3.1精密度相关定义① 性能评价:对预期成为体外诊断医疗器械的产品,为建立或验证其性能声明而进行的研究。(与性能评价相区别的是临床评价,临床评价属于确认,性能评价属于验证)② 测量精密度:在规定条件下,对同一或相似被测对象重复测量得到测量示值或测得量值间的一致程度。 (测量精密度通常用我们熟悉的变异系数CV和标准差S来表述) ③ 测量重复性:在一组测量条件下的测量精密度,包括相同测量程序、相同操作者、相同测量系统、相同操作条件和相同地点,并且在短时间段内对同一或相似被测对象重复测量。 (在检验实验室里所常用的批内精密度、序列内精密度就是指测量重复性) ④ 中间精密度:在一组测量条件下的测量精密度,这些条件包括相同的测量程序、相同地点并且对相同或相似的被测对象在一长时间段内重复测量,但可包含其它相关条件改变。 (与重复性的差别在于测量结果是在一长时间段内收集的) ⑤ 测量再现性:在包括了不同地点、不同操作者、不同测量系统的测量条件下对同一或相似被测量对象在长时间重复测量的测量精密度。 (在检验实验室里所常用的实验室间精密度就是指测量再现性) 根据上述定义,精密度不能简单粗暴地理解为测多个重复的CV,这会导至我们分析性能评估不完整,对产品的实际性能认识不清晰,如只考虑重复性类精密度,则发现不了产品对环境、仪器、时间、操作者的敏感性。 3.2精密度评估总则① 总体要求:性能评价的计划、实施、评价和文件化等相关过程要符合YY/T 1441的规定。制造商应规定所有管理和实施IVD性能评估相关人员的责任和相互关系,并确保具备充足的资源。制造商设计评价方案,并进行测试,做好相关记录,所有文件和记录作为该产品技术文件的一部分。性能评价负责人应对性能评价结果最终评定和审核,并形成评价报告。 (对于制造商,总体要求可简单概括为要符合ISO13485质量管理体系的要求) ②样品要求:用于评价的样品,其均匀性和稳定性要能满足评价要求,并能反映临床实验室测试样品的特征,一般采用混合的患者样品。应包括测量区间内低、中、高至少3个浓度水平,应有医学决定水平附近的测量点。 (样品的质量会影响精密度评估结果,如样品混浊、絮状物多、样品粘稠度高会使评估结果更差,样品浓度分布不合理,不能反映全线性范围的精密度) ③评价流程:应按照计划→实施→报告的流程开展,在计划阶段重点分析影响精密度的因素,采用平衡嵌套设计将各相关因素整合在一起考虑。实验室内精密度评价设计建议20天*2分析批*2重复的试验设计,实验室间精密度评价设计建议3实验室*5天*5重复的试验设计。 3.3重复性和实验室内精密度评价① 试验模型:推荐20天*2分析批*2重复,即在20天(可为非连续天)对同一测试样品进行测试。每天运行2个分析批,2个分析批间建议至少间隔2个小时。每个分析批,重复测试2次。评价结束,获得40对即80个测试结果。 ② 注意事项:使用同种类、同批号的试剂盒和校准品;根据制造商推荐的校准频次进行校准;每次重复检测,应使用不同的等分样品,并保证样品的处理过程与临床真实样品的处理过程尽可能一致;在每个分析批,应同时测量质控品,以保证结果是可靠可用的;每个分析批结束时,应对数据进行及时检查,若发现错误数据、缺失数据,应及时进行补充。 ③ 数据统计:以excel统计为例 重点公式(1)使用离群值公式计算出极值与标准差的倍数,然后使用IF公式判断是否为离群点; 重点公式(2)使用DEVSQ计算天间离均差平方和、总变异离均差平方和; 重点公式(3)使用SUMXMY2计算两数组中对应数值差的平方和即分析批间的平方和; 实验室内精密度也可以通过对所有数据使用STDEV计算出标准差,使用STDEV/均值计算出CV。 但是上述简单的计算方法无法分析出实验室内精密度的主要变异来源是检测系统的重复性还是对环境和时间的敏感性,当有精密度问题时无法有的放矢。 3.4实验室间精密度评价①实验模型:开发新产品时应考虑实验室间的精密度评价。推荐使用3实验室*5天*5重复的模型,即在3个实验室,使用相同型号的仪器或同一系列的仪器,在5天(可为非连续天)对同一测试样品进行测试。每天运行1个分析批,每个分析批重复测试5次。评价结束时,获得75个测量结果。 (对于制造商,重点是使用三台同型号或同系列的仪器、不同操作人员进行评估) ②注意事项:也可在同一个实验室,使用3台仪器进行评价;使用同种类、同批号的试剂盒和校准品;根据制造商推荐频次进行校准;每次重复检测,应使用不等的等分样品,并保证样品的处理过程与真实样品尽可能一致;在每个分析批,应同时测量质控品,以保证结果是可靠的;及时检查分析数据。 ③ 数据统计:以excel为例 重点公式(1)使用离群值公式计算出极值与标准差的倍数,然后使用IF公式判断是否为离群点; 重点公式(2)使用DEVSQ计算实验室间离均差平方和、总变异离均差平方和; 重点公式(3)使用SUMXMY2计算两数组中对应数值差的平方和,即天间平方和; ④利用excel自带的方差分析工具计算各个实验室点的精密度
3.5计算95%置信区间计算各类精密度类型对应的有效自由度;查表得到期望置信水平和有效自由度下的卡方值;根据公式求得标准差的95%置信区间;标准差的95%置信区间除于平均值为CV的95%置信区间 (对于制造商,计算95%置信区间的重点是了解产品最好和最差的分析性能水平) ① 实验室内精密度95%置信区间的excel统计 ② 实验室间精密度95%置信区间的excel统计
|