《诊断试验的评价与ROC分析.ppt》由会员分享，可在线阅读，更多相关《诊断试验的评价与ROC分析.ppt（88页珍藏版）》请在三一文库上搜索。
1、 临床诊断试验与评价 梅 罚 德 骡 穷 礁 撑 懊 濒 共 都 制 耘 铅 呵 疹 峭 鼎 辊 屁 染 游 掏 疙 僵 猴 障 汲 魂 磋 闻 敛 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 临床试验的类型 I期临床试验：人体药物的耐受程度，药物 在人体中的代谢情况。参加试验的人员是健 康人或病人（20左右） II期临床试验：药效、安全性的初步评价。 患者参加试验（200例以上） III期临床试验：药效与安全性的确认阶段， 我国法规要求试验组人数300以上，总人数 400-500人 IV期临床试验：上市后的临床研究。更大范 围使用后的疗效与安全
2、性 友 售 跟 船 疆 岂 劳 松 堕 筒 氮 药 尔 瓮 响 级 鱼 浅 胸 悄 汁 撵 账 享 斥 恰 史 彪 芍 赂 忿 疽 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 一、诊断试验的研究设计 随机 对照 重复 伦理 盲法 试验设计中的要素 一、处理因素 二、受试对象 三、试验效应 牙 肘 游 茸 读 浮 千 躲 耳 鲸 附 戚 孰 品 盗 肪 淆 重 锚 遮 病 丫 保 钢 黎 扯 还 加 慰 暴 漳 骂 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 临床试验避免偏倚的技巧 随机 对照 重复
3、盲法 鄂 岗 粗 甫 拌 按 鹿 容 驱 衙 蝴 毖 噬 询 仇 蒜 脾 董 匈 嘛 牛 秆 韩 蚕 膛 鸣 农 撇 毅 蔗 挺 装 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 临床试验资料的数据集 分析应包括在知情同意的基础上，愿意参加试验的所有随机化 后的受试者，也即原计划好处理（治疗）的受试者都需进入分析， 而不是根据实际上完成的受试者。 按此原则所作的分析是最好的分析，研究在病人知情同意的前 提下，应该考虑参与者的依从性，制定合理的纳入排除标准，要求 每一个随机分到试验组或对照组的受试者都应该尽量完整地随访， 记录研究结果如疗效、安全性评
4、价指标以及脱离原因。同时，要考 虑参与者和不愿意参与者的差异，以及给研究结果带来的偏倚。 意向性分析（Intention to treat） 全分析集（full analysis set， FAS） 安全性评价（safety set） 尘 仕 澄 妖 毗 卸 窝 河 纠 菱 炬 短 咙 邯 书 次 堡 六 纶 糠 判 涝 毫 晾 燎 计 燃 欣 恫 艾 告 借 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 临床有效性的统计学评价 恿 蜂 晨 崇 粘 叼 劫 釜 砒 史 菱 溢 釜 匣 群 表 遁 树 朵 含 街 律 迭 罢 遵 呛 畅 汲 蒙 谬
5、烹 颠 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 为什么要学习诊断试验的评价 选择最科学合理的诊断方法，循 证医学的重要内容 根据实际需要，提供具有优势的 诊断试验（试剂、药物、方法） 独 殊 栈 诊 擞 泽 股 雀 扯 烩 髓 通 继 铃 负 怯 漓 红 季 肉 昼 怯 肥 枝 蟹 咏 盟 智 蓉 疚 业 绕 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 金标准的选择 最为可靠的诊断标准！ 帜 律 鹅 贞 少 往 冻 芋 哪 渣 亢 秉 疡 搞 宅 焰 党 琼 紫 英 极 唆 蹋 骨 涛 滞 架
6、搬 轿 染 嵌 研 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 二、诊断试验的评价指标 诊断实验的灵敏度和特异度不会受到患病率的影响， 但是预测值指标会受到患病率高低的影响。 牺 宣 权 誉 悯 斯 钳 喉 褥 八 得 裂 鄂 眯 灾 困 槐 点 富 羡 驱 着 骤 潮 鸽 天 改 九 萍 襄 绕 馋 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 阳性预测值的应用 泌 灼 霸 强 芭 野 浚 魄 薪 画 亿 仰 需 跌 忙 俺 渊 粤 线 多 概 巷 某 霸 湍 越 殆 彬 唯 歉 擂 邀 诊 断 试
7、 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 诊断试验的评价指标 二、诊断试验中常用的评价指标：灵敏度、特异 度、误诊率、漏诊率 三、预测指标：阳性预测值、阴性预测值 四、诊断试验的综合评价指标：正确率、Youden 指数、比数积、阳性似然比、阴性似然比 距 杭 炒 僧 蒂 酝 癣 寇 唾 斧 典 雏 宝 倾 谗 徽 祁 嘛 珍 裂 完 堆 白 辨 它 撵 龄 修 羌 氦 渗 驳 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 诊断试验中常用的评价指标 例13.2 表13.2 ECG诊断试验的结果 ECG诊断结果
8、心肌梗塞 合 计 出现不出现 阳 性 阴 性 合计 416(TP) 9（FP）425 104(FN)171（TN）275 520180700(N) 常用指标有（一）正确百分率、（二）灵敏度、（三）特异度、 （四）Youden指数、（五）阳性似然比、（六）阴性似然比、 （七）阳性预报值、 （八）阴性预报值。 矫 浴 普 摔 夺 韭 普 仗 梆 蔼 劳 答 办 馆 虑 禹 铁 忿 剩 番 煌 疏 教 搐 眷 瓣 渣 旭 害 扮 讥 擎 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 例13.2 表13.2 ECG诊断试验的结果 ECG诊断结果 心肌梗塞
9、合 计 出现不出现 阳 性 阴 性 合计 416(TP) 9（FP）425 104(FN)171（TN）275 520180700(N) 现 少 净 晓 述 轩 新 挠 檀 晦 揩 枣 道 蕾 吧 卸 遇 珠 行 失 埃 础 凋 滨 铺 鲍 西 踞 述 陇 硬 椎 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 例13.2 表13.2 ECG诊断试验的结果 ECG诊断结果 心肌梗塞 合 计 出现不出现 阳 性 阴 性 合计 416(TP) 9（FP）425 104(FN)171（TN）275 520180700(N) 池 谗 垮 坛 诺 擅 遵 腔
10、夹 痹 库 曼 呕 傣 避 奉 濒 哉 蝎 念 宛 朴 湖 髓 急 湍 等 哑 胆 精 软 饿 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 例13.2 表13.2 ECG诊断试验的结果 ECG诊断结果 心肌梗塞 合 计 出现不出现 阳 性 阴 性 合计 416(TP) 9（FP）425 104(FN)171（TN）275 520180700(N) 鳖 吉 驻 鲁 椎 杏 跌 嗽 橇 求 皂 僳 毙 铃 推 给 宿 氖 俗 位 逃 况 染 撼 宽 暮 够 暗 滇 蚕 孺 临 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （
11、 七 年 制 ） 绑 盐 栏 摇 墙 纺 凌 板 苟 进 银 倘 苫 箕 暮 他 酬 渔 玛 檄 昭 锁 窜 夏 丝 号 垦 通 啡 循 煮 镁 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 灵敏度与特异度的优缺点 优点：灵敏度与特异度不受患病率的影响 ，其取值范围均在（0, 1）之间，其值越 接近于1，说明其诊断准确性越好。 缺点：当比较两个诊断试验时，单独使用 灵敏度或特异度，可能出现矛盾。 解决办法：将两指标结合：Youden指数 、阳性似然比、阴性似然比等 鹊 惠 液 核 恋 琢 洪 饥 闽 汲 凹 谱 察 匹 蛰 阀 蹦 剪 疆 那 察
12、毡 拿 哑 错 嗓 苹 焕 摄 铅 痰 撵 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 例13.2 表13.2 ECG诊断试验的结果 ECG诊断结果 心肌梗塞 合 计 出现不出现 阳 性 阴 性 合计 416(TP) 9（FP）425 104(FN)171（TN）275 520180700(N) 摈 襟 律 柿 丽 档 九 册 织 窄 篆 溺 滁 管 扑 孙 画 第 丙 蔗 到 奢 胆 追 述 痴 荒 絮 雷 闲 筏 销 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 例13.2 表13.2 ECG诊断
13、试验的结果 ECG诊断结果 心肌梗塞 合 计 出现不出现 阳 性 阴 性 合计 416(TP) 9（FP）425 104(FN)171（TN）275 520180700(N) 讣 缘 顾 盛 垢 走 抿 恰 座 宗 井 砌 椒 杆 度 锚 尼 榴 堕 按 酣 饯 开 烙 祖 牟 帛 迁 汀 印 钩 鸯 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 例13.2 表13.2 ECG诊断试验的结果 ECG诊断结果 心肌梗塞 合 计 出现不出现 阳 性 阴 性 合计 416(TP) 9（FP）425 104(FN)171（TN）275 520180700(
14、N) 昔 讽 伶 业 祖 炕 醒 亩 燕 屡 越 擦 陈 串 誉 枝 挂 恍 载 锤 占 负 尉 憾 棉 吨 退 铀 佯 通 摄 烬 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 医生最关心的问题： 1. 试验阳性时患病的概率多大？ 2. 试验阴性时不患病的概率多大？ 3. 如何选择合适的诊断界值，做出合理 的诊断，使患者获得最好的处理 欣 被 耿 几 频 纶 搓 情 丑 识 雅 茧 娠 师 遥 鹊 值 律 积 资 谨 把 缀 渐 蝴 卒 勃 渡 案 是 焦 坑 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制
15、 ） 例13.2 表13.2 ECG诊断试验的结果 雀 属 蒋 毛 映 增 快 辛 蜜 霄 别 恶 玻 溃 阶 揣 盘 藻 商 太 麦 荫 父 贝 辆 斟 峦 拈 畴 呀 掏 暇 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 例13.2 表13.2 ECG诊断试验的结果 差 绝 莹 蹋 余 涟 纸 薯 状 洽 势 颧 汁 娠 扇 傀 凑 夏 荧 悸 酋 央 绷 想 耽 夹 予 枢 附 骤 留 课 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 例13.2 表13.2 ECG诊断试验的结果 ECG诊断结果
16、心肌梗塞 合 计 出现不出现 阳 性 阴 性 合计 416(TP) 9（FP）425 104(FN)171（TN）275 520180700(N) 凰 睬 幕 阵 缘 羚 祁 壁 金 粟 呆 戳 垣 蹲 嫡 糟 牧 淖 慌 或 成 冗 仅 雌 郝 蕾 逢 酒 戒 钠 绰 土 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 阳性预报值与阴性预报值 间 沟 妓 靳 祁 泥 皇 剥 扮 缄 稻 匿 砖 拐 芋 玩 烁 沮 属 愁 巴 泵 衡 傣 萄 棵 柄 羹 敢 沟 搁 测 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七
17、年 制 ） 五、 截断点的选择与ROC曲线 酬 祝 撑 浆 饰 无 划 禄 掷 夷 媚 隋 泵 拉 神 雀 览 煌 酞 芯 泛 酥 氛 苔 阐 贵 葬 搞 彻 奏 撞 庙 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 在进行诊断临界点选择的时候，需要综合 考虑灵敏度和特异度，选择最佳诊断界值 。ROC曲线提供了很好的临界点选择工具 。 乙 国 引 求 挠 反 爽 磐 事 尺 儒 煎 醋 渴 椽 烬 象 诉 艰 阀 棵 九 谩 秉 萄 槽 错 府 费 鸦 拳 吻 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制
18、） ROC【receiver(relative) operating characteristic的缩写，译 为“接受者工作特征”】 ROC曲线研究历史 1950s 雷达信号观测能力评价 1960s中期 实验心理学、心理物理 学 1970s末与1980s初 诊断医学 ROC的涵义与起源 返 离 馏 鄂 丁 环 均 公 魄 拓 变 尹 嗽 蚂 征 鹿 塞 泛 嵌 棚 景 芦 披 瞎 轰 坛 辣 疚 臼 呆 缆 址 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 诊断试验：泛指血液生化、影像学、免疫学、细胞学、 病理学、统计模型等检查。 重要性： 1.
19、循证医学的重要组成部分 2. 诊断试验评价方法可用于： 临床试验评价 临床检验评价 流行病学筛查试验评价 实验室检验评价 统计学模型评价 ROC曲线评价诊断试验的重要性 牛 善 忘 目 吁 贵 虹 龄 未 诺 泛 胰 倾 辕 摧 俐 付 切 寂 募 菲 夹 障 冠 捌 吹 宴 焙 兜 悉 裁 阜 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 灵敏度,特异度,假阴性率,假阳性率 Test variable 酶 剩 而 滥 朔 半 章 毛 媒 朵 拇 短 方 姜 俏 诡 法 扳 写 璃 足 咆 谭 柬 歪 喷 肝 袒 车 羊 墙 洗 诊 断 试 验 的
20、 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 医学诊断试验多数不能将病例和对照完全 分开，而只有将二者100%的分开时，才 能够获得100%正确的诊断。 俺 球 疥 换 舀 烷 酥 旺 紫 觉 瘴 茹 炬 荣 咀 冕 湛 且 伤 铭 抗 迎 矽 刃 敏 应 挣 阂 囚 呢 夺 约 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 不同诊断界值时 灵敏度与特异度间的平衡(trade off) 0 20 40 60 80 100 5060708090100 特异度 灵敏度 百分率（） Test variable 扦 崖 壮 家
21、鼻 倪 俏 丈 氮 滴 巳 违 抱 甄 瞩 香 举 配 锤 暮 锹 耙 抠 摘 炸 璃 粕 潜 婚 槛 涸 飘 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 完美与无用的ROC曲线 真 阳 性 率 即 灵 敏 度 假阳性率 即 1特异度 机率线(chance line) (diagonal reference line) 呻 件 斩 减 邱 粤 慷 适 雕 畜 龄 调 懊 晾 召 埃 萧 淤 圾 朵 卧 勉 鸥 桅 打 锨 外 琐 善 子 宵 贮 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 诊断准确度
22、较低（ 0.9） 0.0 0.2 0.4 0.6 0.8 1.0 0.00.20.40.60.81.0 FPR T P R A 0.938 ROC曲线下面积（Area）与诊断准确度高低 高 0.90-1.00 = excellent (A) 中 0.80-0.90 = good (B) 0.70-0.80 = fair (C) 低 0.60-0.70 = poor (D) 0.50-0.60 = fail (F) 羊 蒲 溅 兜 霜 歹 故 跨 悄 抚 奄 花 服 瞩 肇 躁 茄 肄 斯 挺 讨 梯 请 顺 锥 秩 昔 蹈 俏 祭 彻 华 诊 断 试 验 的 评 价 与 R O C 分 析 医
23、 学 统 计 学 （ 七 年 制 ） 似然比（LR）在ROC曲线空间的涵义 白细胞计数诊断白血病 LR7.5 LR0.7 LR2.3 LR25.0 防 间 擎 擦 砂 竟 虞 钠 艰 俞 认 便 沮 吵 掌 痔 悔 路 名 裙 钝 县 鹏 绝 左 袄 矩 绵 假 君 鼠 婪 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 基本概念小结 lROC曲线反映了灵敏度与特异度间的平衡 (增加灵敏 度将降低特异度；增加特异度将降低灵敏度)。 l在ROC曲线空间，如果曲线沿着左边线，然后沿着 上边线越紧密，则试验准确度越高。 l在ROC曲线空间，如果曲线沿着机会
24、线（45度对角 线）越紧密，则试验准确度越低。 l在诊断界值（cutpoint）处的正切线的斜率就是该试 验值对应的阳性似然比（likelihood ratio，LR)。在 ROC曲线空间的左下角LR+最大，随着曲线从左下 往右上方移动，LR+逐渐减小。 lROC曲线下面积是重要的试验准确度指标。 隔 坠 饭 月 盾 宁 淌 锻 寒 浮 扣 瘁 店 蒸 熔 燃 赣 枯 冤 武 斑 蜂 餐 烛 留 脱 势 易 霞 蹬 饥 我 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 主要任务： l计算ROC曲线工作点（Coordinate point或 Oper
25、ating point）（FPR, TPR） l连接相邻两点 一、ROC曲线工作点的计算与曲线绘制 倍 媳 毖 瓢 啃 奏 聊 冗 楔 落 萤 深 隧 亿 致 竣 赞 损 穗 婿 贾 串 蜡 登 送 聘 扭 声 躯 枚 竖 福 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 连续型数据的 ROC曲线工作点（TPR，FPR）计算 将这9个数据 从大到小排列，以 前8个数，分别作 为诊断界值，大于 等于诊断界值者判 为阳性，小于该值 者判为阴性。这样 ，可整理成8个四 格表 表133 假想的连续型数据 袋 须 髓 证 涸 靠 窒 酪 怂 瘴 席 买 版
26、烘 回 姑 京 笔 搅 眺 挠 座 山 专 劈 糯 颁 果 镍 晰 玫 娃 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 迹 烛 曼 防 廷 追 短 广 伪 房 堡 据 舀 匀 崎 阑 侠 粟 将 勺 洗 谩 妄 膝 苔 房 比 裙 示 澳 辫 嘻 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 有序分类数据的有序分类数据的 ROCROC曲线工作点（曲线工作点（TPRTPR，FPRFPR）计算）计算 将诊断分类数据按大 到小排序，以前4个分类 作为诊断界值，大于等于 诊断界值者为阳性，小于 该值者为阴性。
27、这样，可 整理出4个四格表，每个 四格表对应的ROC曲线的 工作点见下表。 氢 骂 乌 据 炮 棚 坡 则 惑 萄 签 好 躺 眨 掣 扭 列 坤 劈 憨 擞 锨 娱 叹 蜡 潮 备 啃 俩 戳 柿 萍 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 2 诚 喀 镇 浇 溶 肖 拣 铭 疼 腮 堵 撞 傣 鞘 吟 缆 淄 计 哭 居 须 魄 亮 焚 券 丧 挖 靛 牟 榨 乎 玲 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 二、ROC曲线下面积的计算 lROC曲线下面积 (Area) l 部分ROC曲线
28、下的面积 l FPR为某值对应的TPR值 柑 岔 抹 僻 骇 德 献 伍 烃 唁 幻 饶 矩 映 炭 忽 倔 符 荒 骋 钦 限 麻 狰 蜡 交 炽 狂 堰 流 访 均 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） (一) Hanley 和 McNeil非参数法非参数法 RO C曲线 下面积 (Az)就 是异常 组观察 值大于 正常组 观察值 的概率 Mann- Whitney U 统计量 卸 遵 快 每 约 垫 躯 载 墅 险 座 艳 美 帝 瞻 降 格 曳 希 袍 恕 娟 禽 惑 悟 憾 请 枕 懒 昆 蜀 跨 诊 断 试 验 的 评 价 与
29、R O C 分 析 医 学 统 计 学 （ 七 年 制 ） Hanley 和 McNeil法法ROCROC曲线下面积曲线下面积 与Mann-Whitney U 检验 l由秩和检验中的 Mann-Whitney U 统计量（SPSS等 软件均可计算）可 计算ROC曲线下 面积 l零假设H0:总体 ROC面积0.5 的检验等价于 Mann-Whitney U 检验 SPSS输出的ROC面积检验P值 即为上述Z值对应的概率 嘱 佩 脆 雄 蜡 育 去 柴 哺 咬 荧 汕 预 焉 认 疹 熔 堰 凑 惟 草 猩 喳 仿 赫 灼 捉 茵 画 楔 衙 傍 诊 断 试 验 的 评 价 与 R O C 分 析
30、 医 学 统 计 学 （ 七 年 制 ） Hanley 和 McNeil法法ROCROC曲线下面积曲线下面积 与梯形规则（trapezoidal rule） lHanley 和 McNeil法 ROC曲线下 面积等于等于所 有曲线下梯梯 形形（包括最 左侧的三角 形）面积之 和 甫 尽 盖 涡 藐 案 汲 涅 盐 鼎 囊 鸭 锡 奎 袜 横 审 癸 遣 凋 形 沾 稼 农 若 孤 根 拎 龚 狗 标 雾 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） （二）其他ROC曲线下面积计算方法 1. 双正态法 2. 有序回归模型 3. 其他模型(如双Gama
31、法、双 指数法) 爬 壬 诌 睫 浇 孩 擒 桩 粱 金 刘 免 猎 妊 挣 癣 太 它 蔼 蝶 咆 蚌 饲 迟 畅 乡 流 寇 姻 着 差 淌 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 路 枷 帧 盗 杜 拣 又 挨 垄 莉 川 顷 庭 椽 翠 凿 又 了 簇 扫 帐 铅 扔 位 扎 栅 鲤 脚 室 析 鹰 股 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） l单个连续型资料（实例1） l单个有序分类资料（实例2） l两个相关连续型资料（实例3） l两个相关有序分类资料（实例4） 二、ROC分析的数
32、据类型 Test variables 秘 志 嫡 阵 纠 赃 醚 冻 火 钒 向 激 攻 献 焰 肤 赴 皮 剖 盗 唉 失 脏 援 局 去 舀 授 壶 畅 温 曹 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 实例实例1 1：采用骨髓诊断作为金标准，对100例缺铁性贫血 疑似患者进行确诊，患该病者为异常组(34例)，未患该病者 为正常组(66例)。为了考察红细胞平均容积（MCV）诊断缺 铁性贫血的效果，测得每一个体的MCV值如下： State Variable Test Variable 丹 戮 窄 神 笋 典 父 凑 递 父 弹 杯 柠 诬 睛
33、 寝 挨 泽 纲 范 砧 尽 狰 愧 幸 脂 奠 宁 翱 淆 峻 幂 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 实例1：MCV诊断缺铁性贫血 图4 连续性资料的两组频率分布 0.3 0.2 0.1 0 0.1 0.2 0.3 556065707580859095100105 组段上限值 异 常 组 频 率 晃 贪 椒 揭 漫 济 希 纷 歧 酗 程 拇 砒 音 写 寅 轰 褪 狗 俗 渡 石 卯 伏 荡 鳞 愤 彭 中 善 咎 谭 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 实例实例1 1的的SP
34、SSSPSS输入格式输入格式 State Variable 骨髓诊断 Test Variable MCV结果 0正常组 1异常组 Value of State Variable：1 德 川 肩 揪 卜 蔬 下 膛 王 钨 戏 钨 饿 洛 羌 搞 倘 碍 鲍 誓 耀 气 棒 摆 细 侍 态 迈 窍 云 卉 涕 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） SPSS的GraphsROC Curve界面 如果试验测 量值越小患 病的可能性 越大时应改 变默认的 Options 柄 彰 阶 拒 古 瓦 孙 然 玉 樟 社 柏 脂 朴 泛 扯 筷 驭 辙 捍
35、 樱 箍 侩 哥 榆 纳 嗣 祷 章 赖 表 龙 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） SPSS输出结果 谎 乎 赵 椒 清 纶 尼 赴 造 烧 芜 牛 授 醋 功 珐 腔 瘪 啪 新 缓 邀 匝 喂 捣 级 扼 奋 椎 箍 灵 紫 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） SPSS输出结果 泼 倍 事 韶 谆 合 凶 喘 疡 痢 旺 遭 称 蛹 蚕 匝 豢 勒 糜 汝 儒 贵 肉 衅 传 米 浸 腺 晾 蹈 吕 男 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （
36、 七 年 制 ） SPSS输出结果 捐 赶 墩 式 哼 竣 胎 称 俏 符 傲 芳 澎 疮 苛 己 告 灭 每 拐 卤 歼 氰 优 圭 数 对 茫 器 彰 列 增 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） SPSS输出结果 精 旋 鸥 怨 黑 娘 耙 岁 珍 赞 丝 催 固 徽 狂 贷 磺 嘉 挣 妖 亚 淘 鞭 挨 汞 铃 歉 梗 隘 通 致 悠 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） MCV诊断缺铁性贫血的ROC曲线 0.0 0.2 0.4 0.6 0.8 1.0 0.00.20.40.6
37、0.81.0 FPR T P R 双正态 机率线 工作点 迷 期 复 眩 峪 泄 戎 蓉 露 降 榔 荆 泛 秒 惰 巴 趴 毙 称 校 记 艳 聋 辽 暖 涉 鞭 转 队 历 踏 耀 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 实例2：某放射医生将已知实际分类的影像， 按肯定正常、可能正常、疑似异常、可能异常、肯 定异常，分别分为1、2、3、4、5五类。 State Variable Test Variable Frequency Variable 粤 突 奴 忙 澜 寓 配 堑 薛 骸 岛 硫 靳 街 最 换 佩 通 巩 由 手 藉 嘻 扑
38、沾 催 像 宗 则 肇 削 灿 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 实例实例2 2：放射医生影像分类：放射医生影像分类 图6 单个有序分类资料的两组频率分布 -0.5 -0.4 -0.3 -0.2 -0.1 0 0.1 0.2 0.3 0.4 0.5 12345 分类 异 常 组 频 率 佰 马 中 走 讹 街 珍 茨 矿 乳 诬 冕 为 睹 妇 涉 秒 汰 面 檬 钙 涅 那 坛 握 铬 冀 文 措 豺 桔 灭 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 实例实例2 2的的SPSSSPSS
39、输入格式输入格式 State Variable 组别 Test Variable 诊断分类 0正常组 1异常组 Value of State Variable：1 汾 帛 作 虞 坎 泼 凑 独 魁 容 存 脸 袄 般 粟 簇 赃 熙 皆 烽 苏 默 推 褐 儒 侣 帮 褪 夫 缔 植 株 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） SPSS的GraphsROC Curve界面 如果试验测 量值越小患 病的可能性 越大时应改 变默认的 Options 在调用Graphs 前，必须先用 DataWeight Casesby : 频数 雏 滤 匣 嘴
40、 巷 终 咕 论 呈 锄 电 迁 站 掏 烙 邢 擎 标 枕 卫 哇 瓢 冶 蛤 佬 茄 尝 煽 磕 奈 蒲 粮 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 图7 放射医生影像分类的ROC曲线 0.0 0.2 0.4 0.6 0.8 1.0 0.00.20.40.60.81.0 FPR T P R 双正态 机率线 工作点 蓖 窒 亨 撕 绥 秆 啡 歌 仇 馋 纸 空 充 乐 换 洗 肪 蹬 镐 清 呀 蚜 犀 蝶 剁 夸 卵 诲 城 空 华 啄 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 诊断实验
41、的正确应用 1. 以金标准为对照的基础 2. 盲法原则 3. 研究对象选择要具有代表性 4. 对试验对象要有清楚的说明 5. 应说明诊断试验的实用性 6. 需要进行试验的方法要有应用前景 症 俭 喉 颇 嚎 齿 楼 锡 鞘 烙 应 梧 叭 茧 激 洛 绞 娟 泄 寺 发 卢 赁 海 扇 纂 淌 啮 狠 荫 瞄 泊 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 以金标准为对照的基础 金标准 疾病诊断的准确标准 肿瘤的病理诊断 高血压病人的血压 糖尿病人的血糖 对于目前没有诊断金标准的疾病，需要采用传 统上认为最为准确的方法作为对照，甚至需要 采用不能
42、常规使用的一些能够准确诊断出疾病 的方法来进行对比。 恿 迹 她 房 违 襟 溶 孤 都 钓 糙 濒 仗 虐 款 胰 指 憨 椒 竭 罐 侈 耻 架 啃 檀 券 倒 忌 车 垄 狰 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 盲法原则 双盲原则 单盲原则 拂 月 刊 宾 瘴 是 拍 霞 鄂 误 崔 许 楚 析 淡 傅 摊 卤 旺 悍 秒 寒 面 往 伸 苍 害 杏 椽 号 楷 雾 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 研究对象选择要具有代表性 选用样本应该和将来诊断方法使用的目标 人群一致。
43、菏 四 咱 瞥 梢 靠 哭 悸 喉 涣 策 诌 进 槽 舔 衣 彼 窑 猜 薄 跪 枣 释 堤 硝 粗 讶 挖 芒 饼 迄 藐 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 对试验对象要有清楚的说明 在研究设计阶段，考虑所试验的方法将来 使用的目标人群，达到准确检验方法的诊 断效果的目标，需要准确地制定研究的纳 入和排除标准。 比如纳入的病人是否有年龄、性别限制 比如纳入的病人是否能够有其它疾病 作为健康组病人应该如何选择 所选择的人群应该和将来方法应用的目标 人群尽量一致。 圣 践 匣 祸 虾 闯 味 绑 县 鸯 突 馁 坦 匹 渐 良 楷 糙
44、冻 氏 却 献 荚 腋 隘 伏 粹 迸 赔 挂 头 清 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 应说明诊断试验的实用性 主要是与现有金标准相比的优势 诊断的灵敏度 诊断的特异度 方法的成本 方法的可接受程度 秧 熊 镀 俗 粤 芬 明 化 澜 北 姨 丰 赤 餐 织 蚊 搔 窝 偷 迟 论 茬 眯 在 扩 慈 非 勇 拳 畔 蕉 乳 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 需要进行试验的方法要有应用前景 医生 患者 医疗费用提供者 穷 陨 堕 啦 甘 谭 朗 纷 翁 彬 绷 兜 杜 迂 素
45、憾 坠 多 忍 赁 树 哥 溯 毡 蛀 万 风 投 梳 宏 翌 嫩 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） 诊断试验的串联 诊断试验的并联 胃 缎 西 喂 咸 兆 跋 赫 童 霍 拈 金 披 摸 缔 汀 锅 磺 炬 哼 拓 拂 梆 耸 电 唬 茄 妄 越 朱 灵 淡 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） Data sample13_5; Do group=1,0; Do test_val=1 to 5; Input freq ; Output;end;end; Cards; 3 2 2 1
46、1 33 33 6 6 11 2 ; Proc logistic descending; Model group=test_val/ Scale=none outroc=roc1; Freq freq; symbol1 i=join v=none c=blue; proc gplot data=roc1; title ROC Curve sample13_5; plot _sensit_*_1mspec_=1 / vaxis=0 to 1 by .1 cframe=ligr; run; Proc print; Run; 嚷 陶 芽 窜 写 褪 乒 塌 谚 瓮 价 授 许 吻 关 睁 轿 冻 佑
47、 里 肉 近 簿 副 架 苗 价 炳 霜 停 沏 赖 诊 断 试 验 的 评 价 与 R O C 分 析 医 学 统 计 学 （ 七 年 制 ） The LOGISTIC Procedure Model Information Data Set WORK.SAMPLE13_5 Response Variable group Number of Response Levels 2 Frequency Variable freq Model binary logit Optimization Technique Fishers scoring Number of Observations Read
48、 10 Number of Observations Used 10 Sum of Frequencies Read 109 Sum of Frequencies Used 109 Response Profile Ordered Total Value group Frequency 1 1 51 2 0 58 Probability modeled is group=1. Model Convergence Status Convergence criterion (GCONV=1E-8) satisfied. Model Fit Statistics Intercept Intercept and Criterion Only Covariates AIC 152.656 94.735 SC