第十六章 如何判断方法的性能
目的
- 建立方法决定图
- 用方法决定图评价方法的性能
- 根据观测的方法性能建议合适的措施
误差评估
方法性能可接受性的决定取决于观测误差对于规定医学上允许误差的某些“标准”或质量要求的相对大小。
- 当观测误差小于医学上允许误差时,方法性能可以接受。
- 而当观测误差大于医学上允许误差时,方法性能不可接受。
- 一开始就规定在重要医学决定水平处的医学上允许误差,以帮助指导实验设计和数据收集。之后要做的,便是将观测误差和规定的医学上允许误差进行比较。
如何声明医学上允许误差的要求
对分析质量要求的定义有三种形式:允许总误差、允许 SD 和允许偏移。
- 允许总误差为方法随机误差和系统误差的综合作用下设定的限值
- 允许 SD 和允许偏移则为随机误差和系统误差分别设定的限值。
分开要求允许 SD 和允许偏移显然颇为有用,因为这两个统计量可直接来自实验数据的计算(如 SD 可来自重复性实验数据的计算,偏移可来自方法比较对实验数据的计算)。
患者检测结果的质量是由随机误差和系统误差的净效应或总效应决定的,因此总误差在临床上更为密切。
允许误差的出处
总误差标准:
CLIA 能验证标准提供的可接受性能,这些标准呈现以下三种不同形式:
- 绝对浓度限值,如钙的标准为 $靶值±1mg/dl$ 。
- 百分比,如白蛋白、胆固醇和总蛋白的标准为 $靶值±10%$;
- 根据某个调查组数据确定的范围,如促甲状腺激素的标准为 $靶值±3SD$。
如何比较观测误差与总允许误差
若要通过重复性实验估计方法的随机误差,则需要计算 SD 或 CV;
若要通过方法比较实验估计系统误差,则需要计算测试方法和比较方法均值间的偏移,或使用回归统计计算特定医学决定水平处的预期差值。
这些随机误差和系统误差的评价需要综合判断它们的总效应。文献提供了以下四个综合随机误差和系统误差的不同推荐:
- 偏移+2 倍观测 SD[推荐 1],即 $ bias + 2SD<TE_a$。
- 偏移+3 倍观测 SD[推荐 2],即 $ bias + 3SD<TE_a$。
- 偏移+4 倍观测 SD[推荐 3],即 $ bias + 4SD<TE_a$。
- 偏移+5 倍观测 SD[推荐 4],即 $ bias + 5SD<TE_a$。
事实上,不用纠结如何取舍这些推荐,所有这些都可以整合为一个图形决定工具一方法决定图。该图容易建立,消除了过多额外计算,提供了简化方法性能解释与判断的图形工具。
建立方法决定图
如何使用方法决定图
将你的观测 CV 和偏移表示为百分数,在方法决定图上,标出 x 为观测不精密度、y 为观测不准确度的“运行点”,因为它代表了你所用方法的运行情况。最后根据运行点的位置,判断方法的性能。
- 具有不可接受性能的方法,即使在运行正常的情况下也无法满足你的质量要求。因此,不可用于日常工作。
- 具有不佳性能的方法,曾经被认为可以接受,但在最近引人六西格玛质量管理的原理之后,现已将三西格玛性能的最低标准规定为常规生产过程的工业基准,因此位于二西格玛和三西格玛之间这个区域的性能现已不能真正满足要求。-
- 具有临界性能的方法,在一切正确运行时,可提供必要的质量。但是,由于它要求每个分析批检测 4~8 次控制品,且全面 QC 策略还要求训练良好的操作者、减少人员轮转、更激进的预防维护、密切监视患者检测结果及持续改进方法性能,因此在日常运行中很难管理。
- 具有良好性能的方法,符合你的质量要求。日常运行中,每分析批检测 2~4 次控制品和使用多规则 QC 程序,或具有 2.5s 控制限的单个控制规则,即可实现很好的管理。
- 具有优秀性能的方法,无疑可以接受。日常运行中,仅需每分析批检测 2 次控制品,使用具有 2.5s 或 3.0s 控制限的单个控制规则,即可实现很好的管理。
- 具有世界级性能的方法,其管理和控制更加容易,常只要求每分析批检测 1 或 2 次控制品,使用具有很宽限值(如 3.0s 或 3.5s) 的单个控制规则。
- Author: Jim Wong
- Link: http://qms.atotoro.cn/post/%E7%AC%AC%E5%8D%81%E5%85%AD%E7%AB%A0-%E5%A6%82%E4%BD%95%E5%88%A4%E6%96%AD%E6%96%B9%E6%B3%95%E7%9A%84%E6%80%A7%E8%83%BD/
- License: This work is under a 知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议. Kindly fulfill the requirements of the aforementioned License when adapting or creating a derivative of this work.