基于云计算的数据挖掘技术探讨.docx

《基于云计算的数据挖掘技术探讨.docx》由会员分享，可在线阅读，更多相关《基于云计算的数据挖掘技术探讨.docx（12页珍藏版）》请在三一文库上搜索。

1、基于云计算的数据挖掘技术探讨1、前言毫无疑问,21世纪10年代，已经是不折不扣的信息时代，或者也可以称之为数据时代。随着计算机的发展，网络的快速普及，尤其是移动互联网在近年 来的蓬勃发展，数据量、信息量无时无刻不在海量增长着。目前，面对海量的信息,找出自己真正感兴趣的内容已经成为用户最为头疼的事情，数据挖掘已经成为当前最为热门的技术领域。近年来，云计算成为广受关注的技术领域，也使得数据挖掘平 台有了新的发展方向，构建新一代的数据挖掘平台来应对数据的日 趋复杂庞大成为可能。云计算实为传统计算机技术与网络技术融合的产物。云计算并非简单的计算，它是新型计算方式、数据存储方式、备 份方式、网络资 源分

2、配方式的综合体，是基于互联网的相关服务的增力口、使用和交 付模式。传统的数据挖掘技术是建立在数据库之上的，是通过对已收集数据信息的计算，找出隐藏在不同数据中的相关信息。传统的数据挖掘技术需要在海量数据的基础上进行大量的数据访问与统计计算，在对数据进行挖掘的过程中需要消耗及占用大量的 计算以及存储资源，面对规模不断增长的海量数据，需要消耗及占 用大量计算及存储资源的传统数据挖掘技术显得越来越力不从心， 难以胜任。而云计算独特的计算模式，为海量数据的挖掘提供了一种新的解决方案。2、云计算与数据挖掘21云计算云计算是基于互联网的一种商业计算模式，对于云计算的定义，目前并没有一个统一的说法，现阶段广为

3、人接受的是美国国家标准与 技术研究院对云计算所做出的定义，即云计算是一种按使用量付费的 模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置 的计算资源共享池资源包括网络，服务器，存储，应用软件，服务，这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。从云计算的定义我们可以知道,云计算拥有可配置的、大型的计 算资源共享池，这种资源共享池包括了网络、服务器、存储器、应 用软件以及服务。那也就是说，云计算就是对计算资源共享池的一种资源分配技术或服务，它的特点是可以快速提供这些计算资源，可以减少客户的管 理工作。云计算将计算任务分布在了由大量计算机或服务器构成的共

4、享 资源池上，大大提高了资源的有效利用，使计算处理能力以及存储能 力等得到了提高，并且具有更好的扩展性。云计算具有虚拟化的特点，用户不再受到地理位置以及终端设备的限制，只要接入互联网，即可获取所请求的应用服务，也就是说,用户只需要拥有一台可以接入互联网的终端设备,即可获利所需要的各种应用服务；云计算拥有通用性的特点，云平台可以构造出千万种 应用，用户没有应用限制，在同一个云平台即可运行不同的应用；云 计算具有超大规模以及高扩展性的特点，对于云计算来说, 云的规模 扩展不会影响用户应用服务的质量，而目前，云计算的规 模已经发展出了超大型，如谷歌的云计算已经拥有了上百万台的服 务器；云计算拥有高可

5、靠性以及经济性好的特点，多副本容错、 多计算节点同构可互换等技术确保了服务的高可靠性，而云计算采 用廉价的节点构成云，自动化集中式管理相较于企业传统的数据中心 管理成本来说，经济性能十分优越。22数据挖掘。数据挖掘是数据库知识发现中的一个步骤，数据挖掘又被称为数据采矿，顾名思义，数据挖掘就是在已有的海量数据中通过特定的算 法来挖掘、发现有用信息或知识的过程。数据挖掘是为了解决需求的问题，也是为了解决数据管理的问题。数据挖掘对于信息产业界来说，是产生价值的关键环节，只有将数据转冯波换成具有应用价值的信息或是知识,才能具有实在商业价值。传统的数据挖掘技术是建立在数据库的基础之上的，需要数据库系统提

6、供有效的存储、索引和查询处理支持，而高性能的计算技术 是 对海量数据进行处理的关键支撑，在处理效率方面具有重要影响。随着互联网规模的不断扩大以及移动互联网的兴趣，数据规模呈现更快的增长速度，而对于数据挖掘的需求也日益增多，这使得传 传统的基于数据库的数据挖掘技术在面对如今海量数据的增长规模已 经很难高效的完成计算分析任务；其次，面对海量数据规模的增长， 传统的数据挖掘技术需要更高的软硬件成本的支持，这种成本的支 撑面对数据量的大规模增长是长期性的；第三，传统的基于数据系 统的数据挖掘技术平台架构，已经无法为挖掘算法能力的提升提供 更多支持，算法受限于系统架构影响了数据挖掘技术的发展。统的数据挖

7、掘技术暴露出一些问题,先是数据挖掘效率的问题,3、基于云计算的数据挖掘关键技术云计算的出现为数据挖掘技 术的发展提供了新的方向，数据挖掘技术基于云计算可以发展出新的 模式，就具体的实现来说，其中几个关键技术的发展至关重要。31云计算技术。分布式计算是云计算平台的关键技术，是目前应对海量数据挖掘 任务，提高数据挖掘效率的有效手段之一。分布式计算包含分布式存储和并行计算两方面内容，分布式存储 有效解决了海量数据的存储问题，实现了数据存储高容错 高安全 高性能等关键功能。目前，谷歌提出的分布式文件系统理论是业界流行的分布式文件 系统的基础，谷歌文件系统就是为了解决其海量数据的存储 搜索 与 分析等问

8、题而研发的，其它如分布式文件系统 文件系统是基于 分布式文件系统理论进行研发的开源系统。分布式并行计算框架是高效完成数据挖掘计算任务的关键。目前 流行的一些分布式并行计算框架都对分布式计算的一些技术细节进行了封装，这样用户只需要考虑任务间的逻辑关系，而不用 再过多的 关注这些技术细节，不仅大大提高了研发的效率，而且还可以有效 的降低系统维护的成本。典型的分布式并行计算框架如谷歌提出的并行计算框架、迭代处 理计算框架等。目前业界开源的云计算平台平台，包含和，为海量数据挖掘平台 提供完备的云计算平台支撑平台。32数据汇集调度技术。数据汇集调度技术需要实现的是对接入云计算平台的不同类型数据的汇集与调

9、度。数据汇集与调度需要支持不同格式的源数据,还要提供多种数据同步方式。解决不同数据的规约问题是数据汇集调度技术的任务，技术解决方案需要考虑对网络上不同系统生成的数据格式的支持，如联机事务 处理系统0数据、联机分析处理系统0数据、各种日志数据、爬虫数 据等，如此才能实现数据的挖掘与分析。33服务调度和服务管理技术。为了能够让不同的业务系统使用本计算平台，平台必须要提供服 务调度和服务管理功能。服务调度根据服务的优先级以及服务和资源的匹配情况等进行调 度，解决服务的并行互斥、隔离等，保证数据挖掘平台的云服务是安 全、可靠的，并根据服务管控进行调度控制。服务管理实现统一的服务注册、服务暴露等功能，不

10、仅支持本 地服务能力的暴露，也支持第三方数据挖掘能力的接入，很好地扩 展数据挖掘平台的服务能力。34挖掘算法并行化技术。挖掘算法并行化是有效利用云计算平 台提供的基础能力的关键技术之一，涉及到算法是否可以并行 以及 并行策略的选择等技术。数据挖掘算法主要有决策树算法 关联规则算法以及-平均值算 法等，算法的并行化，是利用云计算平台进行数据挖掘的关键技术。作者冯波单位辽宁省本溪市卫生学校本word为可编辑版本，以下内容若不需要请删除后使用，谢谢您的理解篇一：重症肺炎的 诊断标准及治疗重症肺炎【概述】肺炎是严重危害人类健康的一种疾病，占感染性疾病中死亡率之首，在人类总死亡率中 排第56位。重症肺炎

11、除具有肺炎常见呼吸系统症状外，尚有呼吸衰竭和其他系统明显受累的表现， 既可发生于社区获得性肺炎(community-acquired pneumonia, CAP),亦可发 生于医院获得性肺炎 (hospital acquired pneumonia, HAP)。在 HAP 中以重症监护病房(intensive care unit ,ICU)内获得的 肺炎、呼吸机相关肺炎(ventilator associated pneumonia ,VAP)和健康护 理(医疗)相关性肺炎 (health care-associated pneumonia ,HCAP更为常见。免疫抑制宿主发 生的肺炎亦常包

12、括其中。重 症肺炎死亡率高，在过去的几十年中已成为一个独立的临床综合 征，在流行病学、风险因素和结局 方面有其独特的特征，需要一个独特的临床处理路径和初始的抗生素治疗。重症肺炎患者可从ICU 综合治疗中获益。临床各科都可能会遇到重症肺炎患者。在急诊科门诊最常遇到的是社区获得性重症 肺炎。本章重点介绍重症社区获得性肺炎。对重症院内获得性肺炎只做简要介绍。【诊断】首先需明确肺炎的诊断。CAP是指在医院外罹患的感染性肺实质(含肺泡壁即广义上的肺间质)炎症，包括具有明确潜伏期的病原体感染而在入院后平均潜伏期内发病的肺炎。简 单地讲，是住院48小时以内及住院前出现的肺部炎症。CAP临床诊断依据包括： 新

13、近出现的咳 嗽、咳痰，或原有呼吸道疾病症状加重，并出现脓性痰；伴或不伴胸痛。发热。肺实变体征和(或)湿性啰音。WBC 1099 X 10 / L或重症肺炎通常被认为是需要收入ICU的肺炎。关于重症肺炎尚未有公认的定义。在中华医学会呼吸病学分会公布的CAP诊断和治疗指南中将下列症征列为重症肺炎的表现：意识障碍；呼吸频率30次/minPaO25d、机械通气4d）和存在高危因素者，即使不完全 符合重症肺炎规定标准，亦视为重症。美国胸科学会（ATS） 2001年对重症肺炎的诊断标准：主要诊断标准需要机械通气； 入院48h内肺部病变扩大 50%;G少尿（每日177 1 mol/L （ 2mg/dl）。次

14、要标准：呼吸 频 率30次/min;PaO2/FiO2 2007ATS和美国感染病学会（IDSA）制订了新的社区获得性肺炎治 疗指南，对重症社区获得性肺炎的诊断标准进行了新的修正。主要标准：需要创伤性机械通气需要应用升压药物的脓毒性血症休克。次要标准包括：呼吸频率30次/min; 氧合指数（PaO2/FiO2） 20 mg/dL） 白细胞减少症（WBC计数v 4X109 /L） 血小板减少症（血小板计数vWOXlOgL） 体温降低（中心体温v 36 C） 低血压需要液体复苏。符合1条主要标准，或至少3项次要标准可诊断。重症医院获得性肺炎（SHAF）的定义与SCAP相近。2005年ATS和美国感

15、染病学会（IDSA） 制订了成人HAP, VAP, HCAP处理指南。指南中界定了 HCAP的病人范围：在90d内因急 性 感染曾住院2d;居住在医疗护理机构；最近接受过静脉抗生素治疗、化疗或者30d内有感染伤口治疗；住过一家医院或进行过透析治疗。因为HCAP患者往往需要应用针对多重耐药（MDR）病原菌的抗菌药物治疗，故将其列入HAP和VAF的范畴内。【临床表现】重症肺炎可急性起病，部分病人除了发热、咳嗽、咳痰、呼吸困难等呼吸系统症 状外，可在短时间内出现意识障碍、休克、肾功能不全、肝功能不全等其他系统表现。少部分病人甚 至可没有典型的呼吸系统症状，容易引起误诊。也可起病时较轻，病情逐步恶化，

16、最终达到重症肺炎的标准。在急诊门诊遇到的主要是重症CAP患者，部分是HCAP患者。重症CAP的最常见的致病病原体有：肺炎链球菌、金黄色葡萄球菌、军团菌、革兰氏阴性杆菌、流感嗜血杆菌等，其临床表现简述如下:肺炎链球菌为重症CAP最常见的病原体，占30%70%。呼吸系统防御功能损伤（酒 精中毒、抽搐和昏迷）可是咽喉部大量含有肺炎链球菌的分泌物吸入到下呼吸道。病毒感染和吸烟可造成纤毛运动受损，导致局部防御功能下降。充血性心衰也为细菌性肺炎的先兆因素。脾切除或脾功能亢进的病人可发生暴发性的肺炎链球菌肺炎。多发性骨髓瘤、低丙种球蛋白血症或慢性淋巴细胞白血病等疾病均为肺炎链球菌感染的重要危险因素。典型的肺

17、炎链球菌肺炎表现为肺实变、寒战，体温大于39.4 C,多汗和胸膜痛疼，多见于原先健康的年轻 人。而老年人中肺炎链球菌的临床表现隐匿，常缺乏典型的临床症状和体征。典型的肺炎链球菌肺炎的胸部X线表现为肺叶、肺段的实变。肺叶、肺段的实变的病人易合并菌血症。肺炎链球菌合并菌血症的死亡率为30%-70%,比无菌血症者高9倍。金葡菌肺炎为重症CAP的一个重要病原体。在流行性感冒时期，CAP中金葡菌的发生率可高达25%,约50%的病例有某种基础疾病的存在。呼吸困难和低氧血症较普遍，死亡率为64%。胸部X线检查常见密度增高的实变影。 常出现空腔，可见肺气囊，病变变化较快，常伴发肺脓肿和脓胸。MRSA （耐甲氧

18、西林金葡菌）为CAP中较少见的病原菌，但一旦明确 诊断，则应选用万古霉素治疗。革兰氏阴性菌CAP重症CAP中革兰氏阴性菌感染约占20%,病原菌包括肺炎克雷白杆菌、不动感菌属、变形杆菌和沙雷菌属等。肺炎克雷白杆菌所致的 其临床过程较为危重。易发生于酗酒者、慢性呼吸系统疾病病人和衰弱者，表现为明显的中毒症 状。胸部X线的典型表现为右上叶的浓密浸润阴影、边缘清楚，早期可有脓肿的形成。死亡率高达 40%50%。非典型病原体 在CAP中非典型病原体所致者占3%40%。大多数研究显示肺炎支原体在非典型病原体所致CAP中占首位，在成人中占2%30%,肺炎衣原体占CAP,其临床表现相对6%22%,嗜肺军团菌占

19、2%15%。但是肺炎衣原体感染所致的较轻，死亡率较低。肺炎衣原体可表现为咽痛、声嘶、头痛等重要的非肺部症状，其 他可有鼻窦炎、 气道反应性疾病及脓胸。肺炎衣原体可与其他病原菌发生共同感染，特别是肺炎链球菌。老年人肺炎 衣原体肺炎的症状较重，有时可为致死性的。肺炎衣原体培养、DNA检测、PCR血清学（微荧光免疫抗体检测）可提示肺炎衣原体感染的存在。军团菌肺 炎占重症CAP病例的12%23%,仅次于肺炎链球菌，多见于男性、年迈、体衰和抽烟者，原患有心肺疾病、糖尿病和肾功能衰竭者患军团菌肺炎的危险性增加。军团菌肺炎的潜伏期为210天。病人有短暂的 不适、发热、寒战和间断的干咳。肌痛常很明显，胸痛的发

20、生率为33%,呼吸困难为60%o胃肠道症 状表现显著，恶心和腹痛多见，33%的病人有腹泻。不少病人还有肺外症状，急性的精神神志变 化、急性肾功能衰竭和黄疸等。偶有横纹肌炎、心肌 炎、心包炎、肾小球肾炎、血栓性血小板减少军团菌肺炎的性紫瘢。50%的病例有低钠血症，此项检查有助于军团菌肺炎的诊断和鉴别诊断。胸部X线表现特征为肺泡型、斑片状、肺进展缓慢可区别于普通细菌性肺炎。PCP的试验室检查异常包括:淋巴细胞减少,CD4淋巴细胞减少，低氧血症，胸部X线片显示双侧间质浸润，有高度特征的 胸片可无明显异常。PCP为唯一有假阴性胸片表现的肺炎【辅助检查】1.病原学：诊断方法 包括血培养、痰革兰氏染色和培

21、养、血清学检查、“毛玻璃”样表现。但30%的胸水培养、支气管吸出物培养、或肺炎链球菌和军团菌抗原的快速诊断技术。此外,可以考虑侵入性检查，包括经皮肺穿刺活检、经过防污染毛刷（ PSB经过支气管镜检查或支气管肺泡灌洗（BAL) o 血培养一般在发热初期采集，如已用抗菌药物治疗，则在下次用药前采集。采样以无菌法静脉穿刺，防止污染。成人每次10-20ml,婴儿和儿童0.55ml。血液置于无菌培养瓶中送检。24小时内采血标本3次，并在不同部位采集可提高血培养的阳性率。在大规模的非选择性的因CAP住院的病人中，抗生素治疗前的血细菌培养阳性率为5%-14%,最常见的结果为肺炎球菌。假阳性的结果,常为凝固酶

22、阴性的葡萄球菌。叶或肺段状分布或弥漫性肺浸润。有时难以与ARDS区别。胸腔积液相对较多。此外，20%40%的 病人可发生进行性呼吸衰竭，约15%以上的病例需机械通气。流感嗜血杆菌肺炎 约占CAP病例的8%20%,老年人和COPD病人常为高危人群。流感嗜血杆菌肺炎发病前多有上呼吸道感染的病史，起病可急可慢，急性发病者有发热、咳嗽、咳痰。COPD病人起病较为缓慢，表现为原有的咳嗽症状加重。婴幼儿肺炎多较急重，临床上有高热、惊厥、呼吸急促和紫绢，有时发生呼吸衰竭。听诊可闻及散在的或局限的干、湿性罗音，但大片实变 体征者少见。胸部X线表现为支气管肺炎，约1/4呈肺叶或肺段实变影，很少有肺脓肿或脓胸形

23、成。PCP仍是一种重要卡氏胞子虫肺炎（PCPPCP仅发生于细胞免疫缺陷的病人，但的肺炎，特别是HIV感染的病人。PCP常常是诊断AIDS的依据。PCP的临床特征性表现有干咳、发4周，PCP相对热和在几周内逐渐进展的呼吸困难。病人肺部症状出现的平均时间为抗生素治疗后血培养的阳性率减半，所以血标本应在抗生素应用前采集。但如果有菌 血症高危因素存在时，初始抗生素治疗后血培养的阳性率仍高达15%o因重症肺炎有菌血症高危因素存在，病原菌极可能是金葡菌、铜绿假单胞菌和其他革兰氏阴性杆菌，这几种细菌培养的阳性率高，重症肺炎时每一位病人都应行血培养，这对指 导抗、慢性肝生素的应用有很高的价值。另外，细菌清除能

24、力低的病人（如脾切除的病人） 病的病人、白细胞减少的病人也易于有菌血症，也应积极行血培养。 痰液细菌培养嘱病人先行漱口，并指导或辅助病人深咳嗽，留取脓性痰送检。约40%病人无痰，可经气管吸引术或支气管镜吸引获得标本。标本收集在无菌容器中。痰量的 要求，普通细菌1ml,真菌和寄生虫35ml,分支杆菌标本要尽快送检，不得超过2小时。延迟将减少葡萄球菌、肺炎链球菌以及革兰氏阴性杆菌的检出率。在培养前必须先挑出脓性部分涂片10作革兰氏染色，低倍镜下观察，判断标本是否合格。镜检鳞状上皮 个/低倍视野就判断为不合格痰，即标本很可能来自口咽部而非下呼吸道。多核细胞数量对判断痰液标 本是否合格意义不大，但是纤

25、毛柱状上皮和肺泡巨噬细胞的出现提示来自下呼吸 道的可能性大。痰液细菌培养的阳性率各异，受各种因素的影响很大。痰液培养阳性时需排除污染和细菌定植。与痰涂片细菌是否一致、定量培养和多次培养有一定价值。在气管插管后立即采 取的标本不考虑细定植。痰液培养结果阴性也并不意味着无意义：合格的痰标本分离不出金葡菌或革兰氏阴性杆菌 就是排除这些病原菌感染的强有力的证据。革兰氏染色阴性和培养阴性应停止针对金葡菌感染的治 疗。痰涂片染色痰液涂片革兰氏染色可有助于初始的经验性抗生素治疗，其最大优点是可以在短 时间内得到结果并根据染色的结果选用针对革兰氏阳性或阴性细菌的抗生素；涂片细菌阳性时常常预 示着痰培养阳性；涂

26、片细菌与培养出的细菌一致时，可证实随后的痰培养出的细菌为致病菌。结核 感染时抗酸染色阳性。真菌感染时痰涂片可多次查到霉菌或菌丝。痰液涂片在油镜检查时见到典型的 肺炎链球菌或流感嗜血杆菌有诊断价值。其他在军团菌的流行地区或有近期2周旅行的病人，除了常规的培养外，需要用缓冲碳酵母浸膏作军团菌的培养。尿抗原检查可用肺炎球菌和军团菌的检测。对于成人肺炎 球菌肺炎的研究表 明敏感性50%-80%,特异性90%,不受抗生素使用的影响。对军团菌的检测，在发病的第一天就可 阳性，并持续数周，但血清型1以外的血清型引起的感染常被漏诊。快速流感病毒抗原检测阳性可考 虑抗病毒治疗。肺活检组织细菌培养、病理及特殊染色是诊 断肺炎的金标准。