物联网之云：云平台搭建与大数据处理.html.pdf

《物联网之云：云平台搭建与大数据处理.html.pdf》由会员分享，可在线阅读，更多相关《物联网之云：云平台搭建与大数据处理.html.pdf（240页珍藏版）》请在三一文库上搜索。

1、丛书序 信息物理学是物联网工程的理论基础 物联网是近年发展起来的一种网络通信方式。它来源于互联网，但又不同于互联网。它不仅和软件相关，还涉及硬件。互联 网在网上创造一个全新世界时所遇到的“摩擦系数”很小，因为互联网主要和软件打交道。而物联网却涉及很多硬件，硬件研发 又有其物理客体所必须要遵循的自然规律。 物联网和互联网是能够连接的。它能将物品的信息通过各种传感器采集过来，并汇集到网上。因此本质上物联网是物和物之 间或物和人之间的一种交互。如何揭示出物联网的信息获取、信息传输和信息处理的特殊规律，如何深入探讨信息物理学的前沿 课题，以及如何系统、完整地建立物联网学科的知识体系和学科结构，这些问题

2、无论是对高校物联网相关专业的开设，还是对物 联网在实际工程领域中的应用，都是亟待解决的。 物联网领域千帆竞渡，百舸争流 物联网工程在专家、学者和政府官员提出的“感知地球，万物互联”口号的推动下，呈现出空前繁荣的景象。物联网企业的 新产品和新技术层出不穷。大大小小的物联网公司纷纷推出了众多连接物联网的设备，包括智能门锁、牙刷、腕表、健身记录 仪、烟雾探测器、监控摄像头、炉具、玩具和机器人等。 1.行业巨头跑马圈地，产业资本强势加入 物联网时代，大型公共科技和电信公司已遍布物联网，它们无处不在，几乎已经活跃于物联网的每个细分类别中。这意味着 一个物联网生态系统正在形成。 芯片制造商（英特尔、高通和

3、ARM等）都在竞相争夺物联网的芯片市场；思科也直言不讳地宣扬自己的“万物互联”概 念，并在不久前以14亿美元的价格收购了Jasper；IBM则宣布在物联网业务中投资30亿美元；AT&T在汽车互联层面已非常激 进，已经与美国10大汽车制造商中的8家展开合作；苹果、三星和微软也非常活跃，分别推出了苹果Homekit、三星 SmartThings和新操作系统；微软还推出了Azure物联网；谷歌公司从智能家庭、智慧城市、无人驾驶汽车到谷歌云，其业务已 经涵盖了物联网生态系统中的绝大部分，并在这个领域投资了数十亿美元；亚马逊的AWS云服务则不断发展和创新，并推出了 新产品 在物联网领域中，企业投资机构携

4、带大量资金强势进入，大批初创企业成功地从风险投资机构筹集到了可观的资金。其中最 有名的就是Nest Labs Inc，该公司主要生产配备Wi-Fi的恒温器和烟雾探测器；而生产智能门锁的August公司，也筹资到了 1000万美元 2.物联网创业公司已呈星火燎原之势 物联网创业公司的生态系统正在逐步形成。它们特别专注于“消费级”这一领域的物联网应用，很多创业孵化器都在扶植这 个领域的创业军团。众筹提供了早期资金，大型中国制造商也乐意与这些创业公司合作，甚至直接投资。一些咨询公司和服务提 供商，也做了很多手把手的指导。物联网创业已经红红火火地启动，成为一个全球性现象。 3.高等院校开设物联网专业的

5、热潮方兴未艾 近年来，我国理工类高等院校普遍开设了物联网专业。数百所高等院校物联网专业的学生也已经毕业。可以预见，高等院校 开设物联网专业的热潮还将持续下去。但是在这个过程中普遍存在一些问题：有的物联网专业更像电子技术专业；有的则把物联 网专业办成了网络专业，普遍缺乏物联网专业应有的特色。之所以如此，是因为物联网专业的理论基础还没有建立起来，物联网 工程的学术体系也不完善。 物联网工程引领潮流，改变世界 1.智慧生活，更加舒适 科学家们已经为我们勾勒出了一个奇妙的物联网时代的智慧生活。 当你早上起床，吃完早餐，汽车已经在门口停好了，它能自动了解道路的拥堵情况，为你设定合理的出行路线。 当你到了

6、办公室后，计算机、空调和台灯都自动为你打开。 当你快要下班的时候，敲击几下键盘就能让家里的电饭锅提前煮饭；还可以打开环境自动调节系统，调节室内温度和湿度， 净化空气。 当你在超市推着一车购物品走向收款台时，不用把它们逐个拿出来刷条形码，收款台边上的解读器会瞬间识别所有物品的电 子标签，账单会马上清楚地显示在屏幕上。 2.智慧城市，更加安全 物联网可以通过视频监控和传感器技术，对城市的水、电、气等重点设施和地下管网进行监控，从而提高城市生命线的管理 水平，加强对事故的预防能力。物联网也可以通过通信系统和GPS定位导航系统，掌握各类作业车辆和人员的状况，对日常环卫 作业和垃圾处理等工作进行有效地监

7、管。物联网还可以通过射频识别技术，建立户外广告牌匾、城市公园和城市地井的数据库系 统，进行城市规划管理、信息查询和行政监管。 3.工业物联网让生产更加高效 物联网技术可以完成生产线的设备检测、生产过程监控、实时数据采集和材料消耗监测，从而不断提高生产过程的智能化水 平。人们通过各种传感器和通信网络，实时监控生产过程中加工产品的各种参数，从而优化生产流程，提高产品质量。企业原材 料采购、库存和销售等领域，则可以通过物联网完善和优化供应链管理体系，提高供应链的效率，从而降低成本。物联网技术不 断地融入到工业生产的各个环节，可以大幅度提高生产效率，改善产品质量，降低生产成本和资源消耗。 4.农业物联

8、网改善农作物的品质，提升产量 农业物联网通过建立无线网络监测平台，可以实时检测农作物生长环境中的温度、湿度、pH值、光照强度、土壤养分和 CO2浓度等参数，自动开启或关闭指定设备来调节各种物理参数值，从而保证农作物有一个良好和适宜的生长环境。构建智能 农业大棚物联网信息系统，可以全程监控农产品的生长过程，为温室精准调控提供科学依据，从而改善农作物的生长条件，最终 达到增加产量、改善品质、调节生长周期和提高经济效益的目的。 5.智能交通调节拥堵，减少事故的发生 物联网在智能交通领域可以辅助或者代替驾驶员驾驶汽车。物联网车辆控制系统通过雷达或红外探测仪，判断车与障碍物之 间的距离，遇到紧急情况时，

9、发出警报或自动刹车避让。物联网在道路、车辆和驾驶员之间建立起快速通信联系，给驾驶员提供 路面交通运行情况，让驾驶员可以根据交通情况选择行驶路线，调节车速，从而避免拥堵。运营车辆管理系统通过车载电脑和管 理中心计算机与全球定位系统卫星联网，可以实现驾驶员与调度管理中心之间的双向通信，从而提高商业运营车辆、公共汽车和 出租车的运营效率。 6.智能电网让信息和电能双向流动 智能电力传输网络（智能电网）能够监视和控制每个用户及电网节点，从而保证从电厂到终端用户的整个输配电过程中，所 有节点之间的信息和电能可以双向流动。智能电网由多个部分组成：智能变电站、智能配电网、智能电能表、智能交互终端、智 能调度

10、、智能家电、智能用电楼宇、智能城市用电网、智能发电系统和新型储能系统。 智能电网是以物理电网为基础，采用现代先进的传感测量技术、通信技术、信息技术、计算机技术和控制技术，把物理电网 高度集成而形成的新型电网。它的目的是满足用户对电力的需求，优化资源配置，确保电力供应的安全性、可靠性和经济性，满 足环保约束，保证电能质量，适应电力市场化发展，从而实现为用户提供可靠、经济、清洁和互动的电力供应与增值服务。智能 电网允许各种不同发电形式的接入，从而启动电力市场及资产的优化高效运行，使电网的资源配置能力、经济运行效率和安全水 平得到全面提升。 7.智慧医疗改善医疗条件 智慧医疗由智慧医院系统、区域卫生

11、系统和家庭健康系统组成。物联网技术在医疗领域的应用潜力巨大，能够帮助医院实现 对人的智能化医疗和对物的智能化管理工作；支持医院内部医疗信息、设备信息、药品信息、人员信息、管理信息的数字化采 集、处理、存储、传输和共享；实现物资管理可视化、医疗信息数字化、医疗过程数字化、医疗流程科学化和服务沟通人性化； 能够满足医疗健康信息、医疗设备与用品、公共卫生安全的智能化管理与监控，从而解决医疗平台支撑薄弱、医疗服务水平整体 较低、医疗安全生产隐患较大等问题。 8.环境智能检测提高生存质量 家居环境监测系统包括室内温、湿度及空气质量的检测，以及室外气候和噪声的检测等。完整的家庭环境监测系统由环境信 息采集

12、、环境信息分析和环境调节控制三部分组成。 本丛书创作团队研发了一款环境参数检测仪，用于检测室内空气质量。产品内置温度、湿度、噪声、光敏、气敏、甲醛和 PM2.5等多个工业级传感器，当室内空气被污染时，会及时预警。该设备通过Wi-Fi与手机的App进行连接，能与空调、加湿器 和门窗等设备形成智能联动，帮助改善家中的空气质量。 信息物理学是物联网工程的理论基础 把物理学研究的力、热、光、电、声和运动等内容，用信息学的感知方法、处理方法及传输方法，映射、转换在电子信息领 域进行处理，从而形成了一门交叉学科信息物理学。 从物理世界感知的信息，通过网络传输到电子计算机中进行信息处理和数据计算，所产生的控

13、制指令又反作用于物理世界。 国外学者把这种系统称为信息物理系统（Cyber-Physical Systems，CPS）。 物理学是一门自然科学，其研究对象是物质、能量、空间和时间，揭示它们各自的性质与彼此之间的相互关系，是关于大自 然规律的一门学科。 由物理学衍生出的电子科学与技术学科，其研究对象是电子、光子与量子的运动规律和属性，研究各种电子材料、元器件、 集成电路，以及集成电子系统和光电子系统的设计与制造。 由物理学衍生出的计算机、通信工程和网络工程等学科，除了专业基础课外，其物理学中的电磁场理论、半导体物理、量子 力学和量子光学，仍然是核心课程。 物联网工程学科的设立，要从物理学中发掘其

14、理论基础和技术源泉。构建物联网工程学科的知识体系，是高等教育工作者和 物联网工程学科建设工作者的重要使命。 物联网的重要组成部分是信息感知。丰富的半导体物理效应是研制信息感知元件和传感芯片的重要载体。物联网工程中信息 感知的理论基础之一是半导体物理学。 物理学的运动学和力学是运动物体（车辆、飞行器和工程机械等）控制技术的基础，而自动控制理论是该技术的核心。 物理学是科学发展的基础、技术进步的源泉、人类智慧的结晶、社会文明的瑰宝。物理学思想与方法对整个自然科学的发展 都有着重要的贡献。而信息物理学对于物联网工程的指导意义也是清晰明确的。 对于构建物联网知识体系和理论架构，我们要思考学科内涵、核心

15、概念、科学符号和描述模型，以及物联网的数学基础。我 们把半导体物理和微电子学的相关理论作为物联网感知层的理论基础；把信息论和网络通信理论作为物联网传输层的参考坐标； 把数理统计和数学归纳法作为物联网大数据处理的数学依据；把现代控制理论作为智能硬件研发的理论指导。只有归纳和提炼出 物联网学科的学科内涵、数理结构和知识体系，才能达到“厚基础，重实践，求创新”的人才培养目标。 丛书介绍 国务院关于印发新一代人工智能发展规划（以下简称规划）国发201735号文件指出，新一代人工智能相关学 科发展、理论建模、技术创新、软硬件升级等整体推进，正在引发链式突破，推动经济社会各领域从数字化、网络化向智能化加

16、速跃升。规划中提到，要构建安全高效的智能化基础设施体系，大力推动智能化信息基础设施建设，提升传统基础设施的智 能化水平，形成适应智能经济、智能社会和国防建设需要的基础设施体系。加快推动以信息传输为核心的数字化、网络化信息基 础设施，向集感知、传输、存储、计算、处理于一体的智能化信息基础设施转变。优化升级网络基础设施，研发布局第五代移动 通信（5G）系统，完善物联网基础设施，加快天地一体化信息网络建设，提高低时延、高通量的传输能力由此可见，物联网 的发展与建设将是未来几年乃至十几年的一个重点方向，需要我们高度重视。 在理工类高校普遍开设物联网专业的情况下，国内教育界的学者和出版界的专家，以及社会

17、上的有识之士呼吁开展下列工 作： 梳理物联网工程的体系结构；归纳物联网工程的一般规律；构建物联网工程的数理基础；总结物联网信息感知和信息传输的 特有规律；研究物联网电路低功耗和高可靠性的需求；制定具有信源多、信息量小、持续重复而不间断特点的区别于互联网的物 联网协议；研发针对万物互联的物联网操作系统；搭建小型分布式私有云服务平台。这些都是物联网工程的奠基性工作。 基于此，我们组织了一批工作于科研前沿的物联网产品研发工程师和高校教师作为创作团队，编写了这套“物联网工程实战 丛书”。丛书先推出以下6卷： 物联网之源：信息物理与信息感知基础 物联网之芯：传感器件与通信芯片设计 物联网之魂：物联网协议

18、与物联网操作系统 物联网之云：云平台搭建与大数据处理 物联网之雾：基于雾计算的智能硬件快速反应与安全控制 物联网之智：智能硬件开发与智慧城市建设 丛书创作团队精心地梳理出了他们对物联网的理解，归纳出了物联网的特有规律，总结出了智能硬件研发的流程，贡献出了 云服务平台构建的成果。工作在研发一线的资深工程师和物联网研究领域的青年才俊们贡献了他们丰富的项目研发经验、工程实 践心得和项目管理流程，为“百花齐放，百家争鸣”的物联网世界增加了一抹靓丽景色。 丛书全面、系统地阐述了物联网理论基础、电路设计、专用芯片设计、物联网协议、物联网操作系统、云服务平台构建、大 数据处理、智能硬件快速反应与安全控制、智

19、能硬件设计、物联网工程实践和智慧城市建设等内容，勾勒出了物联网工程的学科 结构及其专业必修课的范畴，并为物联网在工程领域中的应用指明了方向。 丛书从硬件电路、芯片设计、软件开发、协议转换，到智能硬件研发（小项目）和智慧城市建设（大工程），都用了很多篇 幅进行阐述；系统地介绍了各种开发工具、设计语言、研发平台和工程案列等内容；充分体现了工程专业“理论扎实，操作见 长”的学科特色。 丛书理论体系完整、结构严谨，可以提高读者的学术素养和创新精神。通过系统的理论学习和技术实践，让读者在信息感知 研究方向具备了丰富的敏感元件理论基础，所以会不断发现新的敏感效应和敏感材料；在信息传输研究方向，因为具备通信

20、理论 的涵养，所以他们会不断地制定出新的传输协议和编码方法；在信息处理研究领域，因为具有数理统计方法学的指导，所以他们 会从特殊事件中发现事物的必然规律，从而会从大量无序的事件中归纳出一般规律。 本丛书可以为政府相关部门的管理者在决策物联网的相关项目时提供参考和依据，也可以作为物联网企业中相关工程技术人 员的培训教材，还可以作为相关物联网项目的参考资料和研发指南。另外，对于高等院校的物联网工程、电子工程、电气工程、 通信工程和自动化等专业的高年级本科和研究生教学，本丛书更是一套不可多得的教学参考用书。 相信这套丛书的“基础理论部分”对物联网专业的建设和物联网学科理论的构建能起到奠基作用，对相关

21、领域和高校的物联 网教学提供帮助；其“工程实践部分”对物联网工程的建设和智能硬件等产品的设计与开发起到引领作用。 丛书创作团队 本丛书创作团队的所有成员都来自于一线的研发工程师和高校教学与研发人员。他们都曾经在各自的工作岗位上做出了出色 的业绩。下面对丛书的主要创作成员做一个简单介绍。 曾凡太，山东大学信息科学与工程学院高级工程师。已经出版“EDA工程丛书”（共五卷，清华大学出版社出版）、现代 电子设计教程（高等教育出版社出版）、PCI总线与多媒体计算机（电子工业出版社出版）等书，发表论文数十篇，申请 发明专利4项。 崔强，毕业于山东大学信息学院，获工学硕士学位。电信系统物联网项目专家、高级工

22、程师、一级建造师、注册咨询工程 师。现就职于广东省电信规划设计院，从事5G通信网络研究工作。承担过20多项网络规划设计工程。在核心期刊上发表了6篇论 文，获国家优秀设计奖3项。 边栋，毕业于大连理工大学，获硕士学位。曾经执教于山东大学微电子学院，指导过本科生参加全国电子设计大赛，屡创佳 绩。在物联网设计、FPGA设计和IC设计实验教学方面颇有建树。目前在山东大学微电子学院攻读博士学位，研究方向为电路与 系统。 曾鸣，毕业于山东大学信息学院，获硕士学位。资深网络软件开发工程师，精通多种网络编程语言。曾就职于山东大学微电 子学院，从事教学科研管理工作。目前在山东大学微电子学院攻读博士学位，研究方向

23、为电路与系统。 孙昊，毕业于山东大学控制工程学院，获工学硕士学位。网络设备资深研发工程师。曾就职于华为技术公司，负责操作系统 软件的架构设计，并担任C语言和Lua语言讲师。申请多项ISSU技术专利。现就职于浪潮电子信息产业股份有限公司，负责软件 架构设计工作。 王见，毕业于山东大学。物联网项目经理、资深研发工程师。曾就职于华为技术公司，有9年的底层软件开发经验和系统架 构经验，并在项目经理岗位上积累了丰富的团队建设经验。现就职于浪潮电子信息产业股份有限公司。 张士辉，毕业于青岛科技大学。资深App软件研发工程师，在项目开发方面成绩斐然。曾经负责过复杂的音视频解码项目， 并在互联网万兆交换机开发

24、项目中负责过核心模块的开发。 赵帅，毕业于沈阳航空航天大学。资深网络设备研发工程师，从事Android平板电脑系统嵌入式驱动层和应用层的开发工 作。曾经在语音网关研发中改进了DSP中的语音编解码及回声抵消算法。现就职于浪潮电子信息产业股份有限公司。 李同滨，毕业于电子科技大学自动化工程学院，获工学硕士学位。嵌入式研发工程师，主要从事嵌入式硬件电路的研发，主 导并完成了多个嵌入式控制项目。 徐胜朋，毕业于山东工业大学电力系统及其自动化专业。电力通信资深专家、高级工程师。现就职于国网山东省电力公司淄 博供电公司，从事信息通信管理工作。曾经在中文核心期刊发表了多篇论文。荣获国家优秀质量管理成果奖和技

25、术创新奖。申请 发明专利和实用新型专利授权多项。 曾波，资深智能医疗设备研发工程师，具有10年以上的医疗器械研发工作经验。曾经研发了心电信号监测和心脏起搏器等 产品。现就职于北京蓬阳丰业医疗设备公司，负责管理硬件研发部，并从事18导联动态心电产品的研发和生产工作。 古欣，毕业于山东大学物理学院微电子学专业。济南有人物联网技术有限公司创始人兼CEO。工业物联网专家，从事物联 网嵌入式模块和云平台系统的研发。拥有专利10余项。其公司的工业物联网模块和通信产品已经面市。 刘美丽，毕业于中国石油大学（北京），获工学硕士学位。山东农业工程学院副教授、高级技师。从事自动控制和农业物联 网领域的研究。已出版

26、MATLAB语言与应用（国防工业出版社）和单片机原理及应用（西北工业大学出版社）两部著 作。发表国家级科技核心论文4篇，并主持山东省高校科研计划项目1项。 本丛书涉及面广，内容繁杂，既要兼顾理论基础，还要突出工程实践，这对于整个创作团队来说都是一个严峻的挑战。令人 欣慰的是，创作团队的所有成员都在做好本职工作的条件下依然坚持写作，付出了辛勤的劳动，最终天道酬勤，成就了这套丛书 的出版。在此对所有参与写作的成员表示衷心的感谢，并祝福他们事业有成！ 丛书服务与支持 本丛书开通了读者服务网站，还申请了读者服务的微信公众号。大家可以通过访问读者服务网站，或 者扫描下面的读者服务二维码，与作者共同交流书

27、中的相关问题，探讨物联网工程的有关话题。另外，读者还可以发送电子邮件 到，以获得帮助。 曾凡太 于山东大学 序言一 伴随着互联网的快速发展，人们很自然地将用户端延伸和扩展到任何物与物间的互联，物联网因此而浮出了水面。物联网被 认为是信息产业的又一次浪潮。 单纯的物联网还不足以带来体验的大变革，只有结合了方便的应用才能发挥出更大的作用，所以云计算应运而生。云计算的 出现，犹如给物联网的发展插上了翅膀，使物联网拥有了更好的应用体验。所以大家普遍的一种看法是，云计算是物联网发展的 基石，物联网和云计算的融合发展将会深刻地改变我们的未来。 首先，云计算技术能够轻而易举地把计算能力送到众人手中。面对物联

28、网的海量数据，云计算的强大计算能力势必要被应用 在物联网上。于是，基于并行分布式计算的云计算能力逐渐被应用在需要数据挖掘和数据分析的物联网领域。渐渐地，人们认识 到，云计算可以成为物联网应用的计算机大脑。 其次，物联网应用“烟囱”式发展的局面，造成了应用间数据共享能力的不足，同一用户数据无法在多个应用间实现漫游， 造成了行业和部门间的沟壑。想要打破这一局面，云计算起码在目前来看是一种很好的解决方案。越来越多的物联网服务运营商 意识到，基于云计算技术构建统一的业务管理平台，来管理和运营不同的物联网应用，既可以解决上述问题，又可以使得应用开 发更加统一和简单。因此，云计算已经逐渐成为了物联网应用的

29、管理和运营平台。 本书是“物联网工程实战丛书”的第4卷物联网之云：云平台搭建与大数据处理。本书主要讲解云计算平台的搭建 和大数据处理的相关知识及实践应用。 对于云计算技术的讲解，我们从数学基础讲起，进而通过云计算的发展历史，很自然地引出云计算的概念、原理和常见的服 务模式；通过PaaS模式引出当前常见的云平台搭建实战案例；基于云平台提供的多种应用，给出了针对大数据在分布式云计算 中的一些常见处理方法。随着信息安全越来越被提及和重视，物联网的信息安全也成为其发展过程中一个很重要的关注点。面对 日新月异的信息技术，雾技术和未来云计算的发展趋势也成为了非常重要的考量点。本书主要基于以上技术方向进行深

30、入浅出的 讲解，更加易于读者掌握。我们相信“授之以鱼，不如授之以渔”。 在本书的编写过程中，得到了很多朋友的支持和帮助，在此深表感谢和敬意！特别感谢和我一起从事本书编写工作的各位作 者所付出的辛勤劳动。 王见 于山东济南 序言二 云雾之间 物联网上“雾起云涌” 各位读者好，经过几个月的奋力编写，“物联网工程实战丛书”的第4卷物联网之云：云平台搭建与大数据处理终 于要和大家见面了。本书的主题是云平台搭建和大数据处理。有感于这个主题，便有了下面的这段小文： 远在天边的云，美不胜收！ 那是IT巨头的盛装表演，是王者的饕餮盛宴。 私有云巅峰已过，混合云正在崛起，公有云大战正酣。 公有云服务提供商实力与

31、谋略火花四溅。 开源云软件之间“争风吃醋”与拥抱并存。 没有想象中的大众狂欢，只有整个IT业的呜咽。 除了公有云三巨头，其他的云计算公司和IT企业却并没想象中的光鲜。 中小企业、IT创客、传统IT企业，都只是云的用户。 它们没有能力和IT巨头竞争，肉不容易吃到，只能啃点骨头，喝点肉汤，但还得天天做贡献。 那就用这本书来安慰一下IT创客们受伤的心灵，拯救那些还挣扎于“水深火热”中的传统IT企业吧！何谓云？哪是雾？物联 网上为什么“雾起云涌”？且看笔者慢慢分解。 云计算模式 云计算是一种商业模式，是一种服务模式，是一种计算服务模式，更是一种远程计算服务模式。云计算的关键词：虚拟化、 数据中心、面向

32、服务和按需付费。 云计算是一种商业计算模型，它将计算任务分布在大量计算机构成的资源池上，使用户能够按需获取计算能力、存储空间和 信息服务。用户可以动态申请部分资源，支持各种应用程序的运转，而无须再为烦琐的细节烦恼，让用户能够更加专注于自己的 业务，从而有利于提高效率，降低成本，提升技术创新能力。 这可是一种革命性的举措。打个比方，这就好比是从古老的单台发电机模式转向了电厂集中供电模式。它意味着计算能力也 可以作为一种商品进行流通，就像煤气、水和电一样，取用方便，而且费用低廉。和普通流通品最大的不同在于，云平台上资源 的流通是通过互联网进行传输的。 云计算的核心理念是资源池，它将计算和存储资源虚

33、拟成一个可以任意组合和分配的集合。池的规模可以动态扩展，分配给 用户的处理能力可以动态回收重用。这种模式能够大大提高资源的利用率，也能大大提升平台的服务质量。 这种资源池称为“云”。云是一些可以自我维护和管理的虚拟计算资源。通常它是一些大型服务器集群，包括计算服务器、 存储服务器和宽带资源等。这些计算资源只有大型企业具备优势。 1.云计算服务的三种类型 软件即服务（SaaS）：提供服务运营商运行在云计算基础设施上的应用程序，如浏览器。 平台即服务（PaaS）：提供基于云计算的应用解决方案，比如虚拟服务器和操作系统。 基础设施即服务（IaaS）：提供服务器、存储器、网络服务和租赁服务。 2.云计

34、算的特点 超大规模：Google拥有100多万台服务器，Amazon、IBM、微软和Yahoo等公司的云均拥有几十万台服务器。 虚拟化：云计算支持用户在任意位置使用各种终端获取服务。所请求的资源来自于云，而不是固定的有形实体。用户只需 要一台笔记本电脑或一个PDA，就可以获取各种服务。 高可靠性：云使用了数据多副本容错及计算节点同构可互换等措施来保障服务的高可靠性，这使得用云计算比使用本地计 算机更加可靠。 通用性：云计算不针对特定的应用，在云的支撑下可以构造出千变万化的应用，同一片云可以同时支撑不同的应用运行。 高可伸缩性：云的规模可以动态伸缩，满足应用和用户规模增长的需要。 按需服务：云是

35、一个庞大的资源池，用户按需购买，像自来水、电和煤气那样计费。 极其廉价：采用极其廉价的节点来构成云；云的自动化管理使数据中心管理成本大幅降低；云的公用性和通用性使资源的 利用率大幅提升。 3.云计算的市场覆盖与垄断 云计算已经成为IT领域的标配模式。它易操作，存储量惊人，对用户来说几乎无处不在。它不仅成就了世界上最大的公司， 同时也给小公司提供支持。 云改变了服务供给双方的经济模式，同时也带来了更多新的机遇。 移动互联网本身大量依托于云技术。云已经成为移动平台的有力推动者。在移动时代，本质上真的打开了一扇通往云的门， 因为大部分移动端的处理，都发生在云上。 云服务提供各种应用和服务，把信息的存

36、储也从PC端转移到云端，而使用者可以是任何人。人们不再需要保存或者维护什 么资料，只需要确保计算机联网即可。同时，人们只需要为服务付费即可，而不再需要雇佣IT员工、购买基础设施、保持硬件 （服务器）更新等。对于大多数人而言，SaaS和移动数据分享App便是经常接触到的公有云。 毫无疑问，第一家开发公有云的公司尝到了规模经济的甜头。亚马逊为自己的业务需求建立了大规模的数据中心来管理交易 和库存。它们创建了各种各样的工具来管理庞大的网络请求、存储需求和计算需求。谷歌同样需要管理庞大的搜索数据，它的系 统架构足以管理数十亿请求。 正是因为像谷歌和亚马逊这样的巨头在前，新的云服务商很难再取得较大成功。

37、 物联网概念 全世界物品连接起来，实现信息采集、信息传输、设备智能控制，从而构建智慧校园、智慧医院和智慧城市。 物品联网，必须具有信息感知、信息处理、信息传输的功能，这样的物品，我们称之为智能硬件。利用智能硬件建设的信息 化校园，称为智慧校园。智能汽车、智能公路、智能交通调度组成了智慧交通系统。物联网正在改变着人们的生活方式，但所有 这些额外的便利与效率都是有代价的。 物联网可以收集到前所未有的范围内的大量数据，进而会对网络结构和存储空间产生巨大的压力，所以云计算不可避免地遇 到了如下几大难题。 网络拥塞：如果大量的物联网和人工智能应用部署在云中，将会有海量的原始数据不间断地涌入核心网络，造成

38、核心网络 拥塞。 高延迟：终端设备与云数据中心的较远距离将导致较高的网络延迟，而对实时性要求高的应用则难以满足需求。 可靠性无法保证：对可靠性和安全性要求较高的应用，由于从终端到云平台的距离远，通信通路长，因而风险大，云中备 份的成本也高。 安全性：数据中心因为拥有客户的数据，因此黑客和其他恶意使用者都对之虎视眈眈。例如，2013年斯诺登“棱镜门”事 件爆发后，人们对云端数据的信任度明显下降。 雾计算方法 雾计算方法也被称为边缘计算。它为计算设备提供了收集并管理数据的方法。雾计算不是在云端或遥远的数据中心进行，而 是在较近的地区。在这种模式下，传感器及其他连接性设备将数据发送至一个附近的边缘计

39、算设备上，可能会是一个微型服务 器、交换机、路由器这样的网间连接装置来处理并分析数据，不必再远程传送到云端。 预测到2020年，将有58亿个物联网设备使用雾计算。许多物联网设备并不具有强大的计算能力，所以比起云计算来说，雾 计算能提供给物联网设备更好的计算服务。云计算在广域范围提供计算服务，雾计算在局部范围为物（联网设备）提供计算服 务。诚然，它们的边界并没有这么分明。 雾计算的主要特点有如下几点。 极低时延：这对于物联网十分重要，网上游戏、视频传输和增强现实等都需要极低的时延。 辽阔的地理分布：这正好与集中在某个地点的云计算（数据中心）形成强烈的对比。 传感器网络：雾计算需要具备有大量网络节

40、点的大规模传感器网络，用来监控环境。 支持高移动性：对于雾计算来说，手机和其他移动设备相互之间可以直接通信，信号不必到云端甚至基站去绕一圈，因此 可以支持很高的移动性。 物联网上腾云驾雾 物联网、云计算和雾计算将会改变人们的数据采集、数据存储和数据传输的方法。物联网也将会更深远地影响人们日常生活 中的其他领域。 云的核心就是安装了大量服务器和存储器的“数据中心”。全球数据中心的用电功率相当于30个核电站的供电功率，其中 90%的耗电量都被浪费。目前用大量电能来维持的数据中心，暂时还能给广大用户提供云服务。但是当物联网数据呈指数级增长 后，云中心可能会无法再维持下去。 随着物联网的到来，工业设备

41、和家用电器都会装配大量的传感器，包括嵌入在可穿戴设备和其他设备中的大量传感器都会联 网，从而产生极其庞大的数据。大量数据的发送和接收，可能会造成数据中心和终端之间的拥塞，从而导致传输速率大大降低， 甚至造成很大的时延。 解决之道就是雾计算。雾计算在各行各业的垂直细分市场所带来的便捷令人欢欣鼓舞。地铁进站时使用手机直接刷卡进站， 而不再上云。手机与闸机直接对话，2秒完成，通过率大大提高。 云计算和雾计算为人们完成日常任务提供了极大的便利，效率大大提升，两者之间也相得益彰。物联网收集了大量数据，雾 计算提供了实时处理和实时控制；云计算为这些数据提供了分析和存储，并提供了智慧判断和决策。 数以万亿计

42、的物联网设备需要联网，雾计算服务器、路由器、交换机需要大量的工程师去开发和维护。这不是某个IT巨头所 能垄断的，而是物联网给IT创客和中小企业提供的新机会和新舞台。 物联网上，“雾”起“云”涌。各路IT高手同台竞技，腾“云”驾“雾”会有时，柳暗花明又一村。 仅以此文致敬那些辛勤工作在“云雾”之中的工程师们！ 曾凡太 于山东大学 第1章 云计算数学基础 物联网常常面临大量或者海量的数据，对于这种数据进行分析不管是用采样的方法，还是用大数据的方法，都是对宏观海量 数据的分析。本章将介绍物联网数据分析中会用到的概率和数理统计的基础知识，以及分布式计算、网格计算和云计算的一些概 念。 1.1 概率论

43、概率论是一门研究随机现象的数学规律的学科。在大数据分析中，概率统计是不可或缺的数学基础之一，是云计算从业者必 须掌握的数学知识。 1.1.1 概率论的发展简史 概率论起源于17世纪中叶，当时激发数学家们首先思考概率论的是来自赌博者的问题。 1653年的夏天，法国著名的数学家、物理学家帕斯卡（Blaise Pascal，16231662）前往浦埃托镇度假，旅途中，他遇 到了“赌坛老手”梅累。为了消除旅途的寂寞，梅累向帕斯卡提出了一个十分有趣的“分赌注”问题。问题是这样的：一次，梅 累与其赌友赌掷骰子，每人押了32枚金币，并事先约定如果梅累先掷出三次6点，或其赌友先掷出三次4点，便算赢家。遗憾的

44、是，这场赌注不算小的赌博并未能顺利结束。当梅累掷出两次6点，其赌友掷出一次4点时，梅累接到通知，要他马上陪同国王 接见外宾。君命难违，但就此收回各自的赌注又不甘心，因此他们只好按照已有的成绩分取这64枚金币。但如何分取却又把他 难住了。所以，当他碰到大名鼎鼎的帕斯卡时，就迫不及待地向他请教了。然而，梅累看似简单的问题，却真正难住了帕斯卡。 约1654年期间，帕斯卡与费马在一系列通信中讨论了类似的“合理分配赌金”的问题。该问题可以简化为： 甲、乙两人同掷一枚硬币，规定正面朝上，甲得1点；若反面朝上，乙得1点，先积满3点者赢取全部赌注。假定在甲得2 点、乙得1点时，赌局由于某种原因中止了，问应该怎

45、样分配赌注才算公平合理？ 帕斯卡：若再掷一次，甲胜，甲获全部赌注；乙胜，甲、乙平分赌注。两种情况可能性相同，所以这两种情况平均一下后， 甲应得赌金的3/4，乙得赌金的1/4。 费马：结束赌局至多还要2局，结果为如下4种可能情况： 前3种情况，甲获全部赌注；仅第4种情况，乙获全部赌注。所以甲分得总赌注的3/4，乙得总赌注的1/4。 帕斯卡与费马各自用不同的方法解决了这个问题。虽然他们在解答中没有明确定义概念，但是他们定义了使该赌徒取胜的几 率，也就是赢得情况数与所有可能情况数的比例，这实际上就是概率。所以概率的发展被认为是从帕斯卡与费马开始的。在人们 对概率问题早期的研究中，逐步建立了事件、概率

46、和随机变量等重要概念以及它们的基本性质。 1.1.2 随机事件 在科学研究和工程实践中，在相同条件下经常会重复进行很多次试验，因此常遇到这样的情形：尽管试验条件是相同的，但 是每次的试验结果却不一定相同。 例1 一个口袋中含有编号分别为1，2，n的n个球，从这袋球中任取一球，观察后立即将球放回袋中。多次做这样的试 验，各次取得的球的号数不一定相同，每次取得的号数是1，2，n中的一个数。 随机试验就是指这样的试验，它可以在相同条件下重复试验，试验的所有可能发生的结果是已知的，但是每次试验结果到底 是其中的哪一个预先是不能确定的。 在随机试验中，可能出现、也可能不出现的事件叫做随机事件。例如，在例

47、1中，“取得的球的号数小于3”这事件是随机 事件。随机事件是随机试验的结果，通常简称为事件。 【必然事件】每次试验中一定会出现的事件，记作； 【不可能事件】每次试验中一定不会出现的事件，记作； 随机试验的共同特点为： 在相同的条件下可重复进行； 每次试验的结果可能不止一个，但事先已明确所有可能出现的结果； 试验之前不能确定哪个结果会出现。 概率论只关心在随机试验中可能会观察到的事件及每次具体的试验中出现的事件。因此，与每个随机试验相联系的一个事件 的集合，即在试验中可以观察到的事件的全体。至于这个事件集应该具备什么性质，以后将会讨论。既然数学不只研究那些由孤 立元素组成的集合，那么我们就有必要

48、在上述事件集内定义事件之间的各种关系。 1.事件关系 【包含关系】若事件A出现必然会导致事件B出现，则称“A是B的特例”或“A包含于B”，记作AB； 【等价（相等）关系】若事件A、B满足AB且B?A，则称事件A、B等价或相等。 2.事件间的运算 【和事件】事件A与事件B至少有一个出现，记作AB； 【积事件】事件A与事件B同时出现，记作AB或AB； 【差事件】事件A出现而事件B不出现，记作A-B，显然，AB=AB； 【逆事件】必然事件U与事件A的差事件，记作A，显然，A=UA。 例2 向指定的目标射三枪。用A1、A2、A3分别表示事件“第一枪击中目标”“第二枪击中目标”“第三枪击中目标”。 试用

49、A1、A2、A3表达以下各事件： （1）只击中第一枪 （2）只击中一枪 （3）三枪都未击中 （4）至少击中一枪 解（1）事件“只击中第一枪”就是第二枪没击中，第三枪也没击中。所以事件“只击中第一枪”可以表示成 （2）事件“只击中一枪”不指定哪一枪击中，那么三个事件“只击中第一枪”“只击中第二枪”“只击中第三枪”中任意 一个事件发生，都可以认为事件“只击中一枪”发生。同时，三个事件“只击中第一枪”“只击中第二枪”“只击中第三枪”两 两互斥，所以事件“只击中一枪”可以表示成 （3）事件“三枪都未击中”就是第一、第二、第三枪都未击中，所以事件“三枪都未击中”可以表示成 （4）事件“至少击中一枪”就是第一、第二、第三枪中至少有一次击中，所以事件“至少击中一枪”可以表示成 也可以表示成 1.1.3 随机事件的概率 我们观察一个随机试验的诸事件，总发现“有些事件出现的可能性大些，有些事件出现的可能性小些”，这是由于事件出现 的“可能性大小”是客观存在的，而这些“可能性大小”自然也可用数值来度量。这个描述事件发生可能性大小的数值，至少应 该满足以下