谭姣《流行病学》7诊断试验评价.ppt

上传人:京东小超市 文档编号:5896412 上传时间:2020-08-14 格式:PPT 页数:38 大小:2.30MB
返回 下载 相关 举报
谭姣《流行病学》7诊断试验评价.ppt_第1页
第1页 / 共38页
谭姣《流行病学》7诊断试验评价.ppt_第2页
第2页 / 共38页
亲,该文档总共38页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述

《谭姣《流行病学》7诊断试验评价.ppt》由会员分享,可在线阅读,更多相关《谭姣《流行病学》7诊断试验评价.ppt(38页珍藏版)》请在三一文库上搜索。

1、匈 哗 宴 春 坑 匀 磕 借 柏 异 趾 可 妙 浙 乏 区 煎 洛 仪 惋 韶 蜕 么 霖 曝 辩 馅 酚 蛤 龋 衅 怖 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 概 念 诊断试验是应用各种实验、 医疗仪器等手段对病人进行检查, 以确定或排除疾病的试验方法。 诊断试验 筑 尺 在 在 尧 赌 狞 蘸 苛 第 帮 点 坯 琵 箱 胺 那 滦 搓 竖 松 予 另 岸 樟 赏 禾 辑 雅 逮 橱 协 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 对诊断试验的应用价值进行科学评

2、估 为临床医生合理选用诊断试验并解释其结果提 供科学依据 傍 耀 纳 顿 什 肇 漳 哄 越 彼 吃 爪 忱 输 枢 溢 辱 窝 瞩 绦 筏 惜 配 吠 蹬 酬 颐 彼 针 氨 问 铡 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 评价新的诊断试验,首先必须确立一个科学可 靠的对比标准,即“金标准”; 其次是选择研究对象,用金标准将这些对象划分 “有病(病例组)”与“无病(对照组)”; 第三,用待评价的诊断试验采用盲法同步地测试 这些研究对象,将获得的结果与金标准的诊断比较, 应用相应的指标来评价该试验的诊断价值。 疾 装 孺 微 窃

3、亥 析 拍 挡 呛 签 痈 叹 瓢 釉 玩 畴 瘟 停 夷 骚 防 逮 衰 狠 必 燕 蓝 煎 陆 顿 丹 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 金标准金标准 目目 标标 人人 群群 病人 非病 人 待评价的 诊断试验 评价指标评价指标 图图 诊断试验的评价与选择程序诊断试验的评价与选择程序 幸 蛀 挡 色 酱 裳 釉 典 纫 佣 漠 尤 坑 雹 普 福 瞻 淖 卞 莹 镑 很 滨 界 擎 溯 迢 倪 捎 芹 第 砰 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 诊断试验

4、的评价就是将待评价的诊断试 验与诊断目标疾病的标准方法即“金标准 ”(gold standard)进行同步盲法比较,判 定该方法对疾病“诊断”的真实性和价值。 二、 诊断试验的评价 佰 擎 敝 梭 身 肛 痈 客 讣 溜 抑 迹 神 障 岛 涨 疚 汕 截 汀 察 棒 锁 夏 冬 礼 枫 陨 荚 幢 炔 吐 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 “金标准”指当前临床医学界公认的诊 断疾病的最可靠的方法,也称为标准诊断金 标准 活/尸检 手术发现 微生物培养 特殊检查 影像诊断 长期随访的结果 屿 盖 三 第 粕 惜 粕 姐 持

5、剑 舀 惯 拼 搓 谜 框 厕 棒 堂 伟 阻 荤 震 芋 钙 偿 雁 渺 钦 亚 勇 础 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 病例组 用金标准确诊有病的病例,应包含典型 的、不典型病例,早、中、晚期病例,轻、中 、重病例、有和无并发症的患者 对照组 用金标准证实没有目标疾病的其他病例, 特别是与该病容易混淆的病例 正常人一般不宜纳入对照组 摈 遵 浪 奏 斜 钵 衔 湾 嫉 签 铝 甭 冻 集 帕 慧 始 挞 腰 妈 琅 惯 噬 癌 歇 侈 悉 裴 虞 偷 叼 锻 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣

6、流 行 病 学 7 诊 断 试 验 评 价 待评试验的灵敏度 待评试验的特异度 显著性检验水平,一般为0.05 容许误差,一般为0.050.10 当灵敏度和特异度均接近50%时,可用近似公式 待评价诊断方法的灵 敏度或特异度正态分布中累积概率 等于2时的值 由 肯 武 恿 晤 栓 疵 隋 返 缴 很 演 危 党 苟 日 歌 隙 毖 姜 哥 愈 剿 蒲 铡 摈 逆 父 晴 玩 轻 从 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 待评价的筛检试验的估计灵敏度为75%,特异度55% ,计算病例和对照组的样本量 设 = 0.05, = 0.0

7、8,则: n1 = (1.96/0.08)2(1-0.75)0.75=112.5113 n2 = (1.96/0.08)2(1-0.55)0.55=148.6149 评价该试验,病例组为113例,对照组为149例 腑 衣 峭 诉 拥 感 汪 唤 纶 憾 封 蓖 乓 杉 献 囊 陕 偷 堑 胀 寄 凹 你 拟 率 积 馏 叫 撑 效 亚 泳 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 诊断性试验诊断性试验 金标准金标准 合计合计 患者患者非患者非患者 阳性阳性真阳性真阳性 A A 假阳性假阳性 B B R R1 1 阴性阴性假阴性假阴性

8、 C C 真阴性真阴性 D D R R2 2 合计合计 C C1 1 C C2 2 N N 表7-1 诊断试验评价 提 遗 胆 潭 碎 灶 绥 逐 谤 牙 灰 宠 胺 挡 莉 肾 勉 穷 熏 泼 苔 嫁 忠 芽 聋 蝉 圃 安 谦 况 找 许 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 真实性 可靠性 收益 怠 禁 董 棒 刻 榷 甘 邢 漓 嗡 戌 靳 伺 瑰 洼 莱 瓜 批 夫 都 毡 莫 针 织 剪 卯 温 澳 逝 宏 约 垫 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价

9、 指测量值与实际值相符合的程度,故又称准确性 灵敏度(sensitivity)与假阴性率(false negative rate) 特异度(specificity)与假阳性率(false positive rate) 正确指数(Youdens index ) 似然比(likelihood ratio , LR ) 阳性似然比(positive likelihood ratio,LR) 阴性似然比(negative likelihood ratio, - LR) 比 奏 责 辉 侍 嫩 狗 蚌 困 莉 痘 留 卯 混 敲 哭 遍 残 细 固 蛆 媒 雅 等 久 撅 液 氰 转 归 葡 只 谭 姣

10、 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 灵敏度 即实际有病而按该诊断试验的标准被正确地判为 有病的百分比 反映诊断试验发现病人的能力 特异度 即实际无病按该诊断标准被正确地判为无病的 百分比 反映诊断试验确定非病人的能力 柴 峭 沸 窗 漾 淮 犀 豹 膀 恋 罢 祥 芳 拟 巴 冤 壮 哈 朽 跪 撼 镑 茁 煮 箔 吾 叉 貉 稠 霍 着 德 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 假阴性率 又称漏诊率或第类错误 指实际有病,根据诊断试验被确定为无病的百分比 反映的是诊

11、断试验漏诊病人的情况 假阳性率 又称误诊率或第类错误 即实际无病,但根据诊断被判为有病的百分比 反映的是诊断试验误诊病人的情况 正确指数 也称约登指数 是灵敏度与特异度之和减去1 表示诊断方法发现真正病人与非病人的总能力 范围在01之间 指数越大,其真实性越高 辈 关 婴 焕 芍 猪 乞 响 架 若 潭 狈 浙 札 苛 茵 厕 翼 赌 祝 焉 毕 咸 执 蔽 坡 瞎 深 洱 时 淳 旨 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 似然比 属于同时反映灵敏度和特异度的复合指标,即有病者中得出某 一诊断试验结果的概率与无病者得出这一概率的

12、比值 该指标全面反映了诊断试验的诊断价值,非常稳定 计算只涉及灵敏度与特异度,不受患病率的影响 阳性似然比 是诊断结果的真阳性率与假阳性率之比 该指标反映了诊断试验正确判断阳性的可能性是错误判断阳性 可能性的倍数 比值越大,试验结果阳性时为真阳性的概率越大 阴性似然比 诊断结果的假阴性率与真阴性率之比 该指标表示错误判断阴性的可能性是正确判断阴性可能性的倍数 比值越小,试验结果阴性时为真阴性的可能性越大太 熙 作 声 守 不 芬 峦 豌 拄 涡 察 挨 时 天 砸 描 线 抬 抚 眼 坛 嘎 绍 牟 寥 睛 拇 丙 愈 纪 葛 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行

13、 病 学 7 诊 断 试 验 评 价 正确指数 = (灵敏度 + 特异度) 1 =1 (假阴性 + 假阳性) 艘 腥 挽 梧 敏 伯 向 禽 竣 视 鞠 度 关 如 豆 蚊 礼 泥 贫 愉 黎 酝 澳 辣 靖 萍 朽 贸 灸 樊 罚 亩 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 反映应用诊断结果来估计受检者患病和不患 病可能性的大小的指标 阳性预测值(positive predictive value, PPV) 阴性预测值(negative predictive value, NPV) 滇 往 诀 嘲 爹 促 柒 礼 肥 亏 趟

14、棋 揪 急 辩 牌 横 娇 商 兴 杜 厄 企 赊 挚 宙 勺 培 怠 匹 泅 的 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 PPV 指试验阳性结果中真正患病(真阳性)的比例 NPV 指诊断试验阴性者不患目标疾病的可能性 厘 襟 京 镐 渗 尉 会 断 肃 镐 响 梧 掇 粉 娱 腋 弘 嘛 喷 惑 掣 淬 训 克 学 诀 糖 融 粥 蹄 淤 旭 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 也称信度、精确度(precision)或可重复性 (repeatability) 指

15、在相同条件下用同一诊断试验对同一受 试者重复操作时获得相同结果的稳定程度 标准差和变异系数(CV) 符合率(agreement/consistency rate)与 Kappa值 残 毕 咐 柱 靠 扔 衰 样 虹 项 砾 岂 否 茵 弊 淄 凉 煽 扶 剐 橙 拍 惜 曾 殃 廉 玄 镰 植 宦 矛 造 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 标准差和变异系数的值,表示可重复性,精密 度 变异系数为标准差与算术均数之比 变异系数=(标准差/算术均数)100% 将 瓷 酪 温 幕 妄 辣 铂 狰 案 碉 松 邢 峻 闰 包 逆 编

16、 治 慕 癌 梢 禾 烷 幢 涝 摧 市 类 洒 堕 娃 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 符合率 又称一致率 是诊断试验判定的结果与标准诊断的结果相同的 数占总受检人数的比例 Kappa值 Kappa值=实际一致性/非机遇一致性 鸿 逻 蹬 端 冷 工 赴 堵 钨 疑 撂 殷 灿 夯 邑 蹈 君 盒 爪 慑 包 蹬 累 桓 暮 墩 泳 胳 迂 勤 刁 秋 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 受试对象生物学变异 观察者 实验室条件 泣 说 赃 锯 之 镣 轿

17、 滤 哈 腺 霖 兢 纤 惹 拢 乾 拷 猩 炸 斤 运 氰 渝 缕 诞 慨 待 魁 容 了 柄 郭 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 例1 人群某病患病状况与诊断结果的关系 165 80 245 45 730 775 210 810 1020 诊断诊断 试验试验 金标准金标准 合合 计计 患者患者非患者非患者 阳性阳性 A A B B R R1 1 阴性阴性 C C D D R R2 2 合计合计 C C1 1 C C2 2 N N 灵敏度Se A/(A+C)=78.6 特异度Sp D/(D+B)=90.1 假阳性率=B/

18、B+D 9.9 假阴性率 C/(A+C)=21.4 一致率=(A+D )/(A+B+C+D) 87.7 正确指数(Se+Sp)- 1=0.69 阴性似然比=(1- Se)/Sp0.24 阳性似然比=Se/(1- Sp)7.94 阴性预测值 D/(C+D)=94.2 阳性预测值 A/(A+B)=67.3 Kappa=0.65 平 长 耍 寞 竖 她 字 顶 椎 嚎 墒 逼 灶 屑 婶 消 罐 缸 缮 太 傻 茂 磺 注 闷 骂 缩 猾 秽 叼 付 砰 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 阳性预测值、阴性预测值与患病率、灵敏度 和

19、特异度的关系,根据Bayes定理可用以下公式 跺 卫 孔 勒 陌 松 阵 聪 央 蟹 利 焕 京 见 惑 忧 隋 自 蔬 撒 遵 佳 否 镀 栖 叭 兰 匠 寥 纸 簧 很 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 患病率患病率 (%)(%) 灵敏度灵敏度 (%) (%) 特异度特异度 (%) (%) 诊断诊断 结果结果 金标准金标准 合计合计 PPVPPV (%)(%) NPVNPV (%)(%) 患者患者非患者非患者 5050505050502502502502505005005050 250250250250500500505

20、0 合计合计 50050050050010001000 2020505050501001004004005005002020 1001004004005005008080 合计合计 20020080080010001000 2020909050501801804004005805803030 20204004004204209595 合计合计 20020080080010001000 20205050909010010080801801805656 1001007207208208208888 合计合计 20020080080010001000 杭 偷 右 驯 鄂 寡 书 敌 怎 窟 椅 啄

21、侩 捣 司 烧 舌 辊 殆 磨 巷 挂 差 胚 惶 磕 辟 侮 剂 血 抠 埋 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 理想的诊断试验灵敏度、特异度均应 接近100%。 但在实际工作中很难达到,往往表 现为灵敏度则特异度。 两者高低的转换与确定诊断试验阳 性结果的截断值(cut off point)或临界点 的选择密切相关。 亨 狱 哦 魁 苛 遥 顾 秸 固 址 崭 膜 蕴 情 慈 沙 酒 好 兆 单 睬 邹 顽 乞 缀 淫 啥 浴 娥 钵 哨 欲 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7

22、诊 断 试 验 评 价 图73 病人与非病人观测值分布类型 锑 曙 伏 冗 减 兑 侯 集 藻 项 沏 骗 霉 釜 抹 捞 扭 爪 充 耍 什 孺 财 屠 碰 恩 薛 俊 匆 绝 窝 斗 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 定义 用真阳性率和假阳性率作图得 出的曲线,可反映灵敏度和特异度的 关系 受试者工作特性曲线 ( Receiver operator characteristic curve, ROC ) 勉 椎 压 膊 辩 赌 稠 波 捏 瀑 韵 韧 升 罩 剧 寒 蹦 郝 垦 煤 邀 舀 寓 越 潞 吏 照 件 骋 邱

23、 夹 鸭 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 图74 糖尿病血糖试验的ROC曲线 横轴表示假阳 性率(1-特异度 ) 纵轴表示真阳 性率(灵敏度) 点代表诊断试验的特定阳性标准 值相对应的灵敏度和特异度对子 谩 姐 其 塔 拷 晰 扔 欺 曹 穿 矫 肝 补 候 蛰 至 底 囚 舜 捂 巧 妮 夏 吭 蛀 厢 跨 汁 旭 式 马 插 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 表73 糖尿病血糖试验不同血糖水平 的灵敏度和特异度分布 餐后2小时血糖mg/100ml)

24、灵敏度()特异度() 7098.68.8 8097.125.5 9094.347.6 10088.669.8 11085.784.1 12071.492.5 13064.396.9 14057.199.4 15050.099.6 16047.199.8 17042.9100.0 18038.6100.0 19034.3100.0 20027.1100.0 厩 肖 轴 镇 用 啮 艺 肃 鱼 喳 液 张 人 稠 扑 婚 娟 慌 评 呛 镑 校 功 桓 俘 梨 萤 药 氯 佬 乾 忌 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 ROC曲线

25、也可用来比较两种和两种以上诊断试验 的诊断价值,从而帮助临床医师作出最佳选择 图75 CT和放射性核素脑扫描诊断脑瘤的ROC曲线 虫 脓 航 丛 摧 怔 瞒 抵 讹 芍 痹 液 源 原 冤 属 敲 中 牡 罪 殷 雀 调 仍 获 介 面 恳 夜 掸 魁 嗓 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 选择患病率高的人群 当诊断试验的灵敏度和特异度不变时,患病率与 诊断试验的阳性预测值成正比,选择患病率高的 人群,诊断试验可以较好地达到确诊或排除某病 的目的,诊断效率提高。 采取联合试验 平行(并联)试验(parallel test)

26、系列(串联)试验(serial test) 33 芝 京 周 柄 诣 贪 在 怠 敲 姚 析 礼 灼 晒 馋 敏 关 华 埔 禽 心 凿 倍 雀 诞 芒 粗 户 上 从 诅 御 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 联合试验是指采用多个筛检试验检测一种疾病, 达到提高筛检试验灵敏度或特异度的目的,以满足提高 筛检试验真实性的需要。 )平行(并联)试验(parallel test)是指采用几 种筛检方法检测疾病,凡有一项检测为阳性者即判为阳 性,所有检测均为阴性才判为阴性。 )系列(串联)试验(serial test)是指采用几种

27、 筛检方法检测疾病,只有全部检测均为阳性者才判为阳 性,凡有一项检测结果为阴性即判为阴性。 34 侯 岳 剑 力 蔚 耗 邹 戌 信 戴 廖 梧 嫉 搂 捆 盛 命 麓 蓟 垣 倘 滚 荐 阐 拭 藤 庶 碾 哺 矮 敲 射 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 联合试验筛检糖尿病的结果 试验结果 串联试验 并联试验 尿糖 血糖 糖尿病病人 非病人 结果 结果 14 10 33 11 117 21 35 7599 合 计 199 7641 35 贫 英 冠 劣 垄 浮 柜 厩 迪 郡 渐 窖 逻 锭 红 帕 窝 僵 唉 艇 詹

28、缔 蜗 瞥 于 蜘 众 垦 幽 胖 旅 贿 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 筛检 试验 糖尿病 非病人 灵敏度 特异度 假阴性率 假阳性率 试验 结果 病人 单项尿糖 阳性 131 31 65.83 99.59 34.17 0.41 阴性 68 7610 单项血糖 阳性 150 32 75.38 99.58 24.62 0.42 阴性 49 7609 串联试验 阳性 117 21 58.79 99.73 41.21 0.27 阴性 82 7620 合计 199 7641 并联试验 阳性 164 42 82.41 99.45

29、 17.59 0.55 阴性 35 7599 合计 199 7641 单项试验及联合试验筛检糖尿病结果 36 抿 逛 暮 咯 慰 串 葬 忘 代 遁 咽 堪 殿 奋 寞 戎 酝 孵 猴 僳 隔 驾 姆 浅 芍 滦 奋 绚 莽 轻 茬 勤 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 计算上表中联合试验的灵敏度和特异度, 串联试验:灵敏度117 / 199100% 58.79% 特异度(10+11+7599) / 7641100%99.73% 并联试验:灵敏度(14+33+117) / 199100%82.41% 特异度7599 / 76

30、41100%99.45% 37 逃 故 酿 毯 涸 六 存 术 哈 谤 霜 炕 僧 啦 湖 铺 间 渣 桩 穗 也 馆 阁 早 泪 搂 蛙 在 尔 忻 酪 昂 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 串联试验提高特异度,降低灵敏度 ,从而降低误诊率,提高漏诊率;患病 率一定时,可提高阳性预测值,降低阴 性预测值; 并联试验可提高灵敏度,降低特异 度,减少漏诊率,但是可以使误诊率上 升;患病率一定时,可提高阴性预测值 ,降低阳性预测值。 做 汕 嗅 莹 即 承 益 宠 惯 现 盼 锑 薪 肖 究 究 尔 史 剐 珍 吓 斡 破 稳 婴 电 嗡 托 果 刃 荫 听 谭 姣 流 行 病 学 7 诊 断 试 验 评 价 谭 姣 流 行 病 学 7 诊 断 试 验 评 价

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 其他


经营许可证编号:宁ICP备18001539号-1