《科技风互联网大数据简介PPT授课课件.pptx》由会员分享，可在线阅读，更多相关《科技风互联网大数据简介PPT授课课件.pptx（33页珍藏版）》请在三一文库上搜索。
1、互联网大数据简介,随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。,大数据 BIG DATA,大数据时代的机遇和挑战,大数据是什么？,大数据的特征和结构,大数据的应用和案例,大数据的趋势,添加相关标题文字,添加相关标题文字,01,大数据是什么？,大数据（BIG DATA）,指无法在一定时间
2、范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。,大数据是“未来的新石油”,大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据就是“未来的新石油”。,BIG DATA,到底有多大？,1PB相当于50%的全美学术研究图书馆藏书信息内容,5EB相当于至今全世界人类所讲过的话语,1ZB如同全世界海滩上的沙子数量总和,1YB相当于7000位人类体内的微细胞总和,大数据带来的变革,1,2,3,添加相关标题文字,添加相关标题文字,02,大数据的
3、特征和结构,大数据的特征,2,1,7,6,5,4,3,大数据的结构,大数据包括结构化、半结构化和非结构化数据， 非结构化数据越来越成为数据的主要部分。据IDC的调查 报告显示：企业中80%的数据都是非结构化数据，这些数据每年都按 指数增长60%。大数据就是互联网发展到现今阶段的一种表象或特征而已，没有 必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很难收集 和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。,半结构化,结构化,非结构化,大数据的安全威胁,大数据基础设施安全威胁,1,大数据存储安全威胁,2,隐私泄露问
4、题,3,针对大数据的高级持续性攻击,4,数据访问安全威胁,5,其他安全威胁,6,大数据改变生活,优化,各级政府、主管部门、上市公司、企业集团、外资公司都将基于大数据分析平台优化其决策。,革命,大数据分析能力逐渐加强，传统市场研究行业、证券研究所、产业链咨询机构将逐渐消失。,颠覆,银行都将基于企业大数据平台开展银行直销业务，同时按照产业链金融服务事业部模式开展业务,改变,因大数据系统的出现，所有依赖信息不对称盈利的业务都将消失。,大数据对政府、金融机构、企业来说， 象空气一样不可或缺！,03,大数据时代的 机遇和挑战,机遇和挑战,机遇,挑战,大数据技术促进国家和社会发展 大数据蓝海成为企业竞争的
5、新焦点 大数据时代呼唤创新型人才,大数据技术的运用仍有困难 大数据给信息安全带来新挑战,机遇1：大数据技术促进国家和社会发展,大数据技术的运用前景是十分光明的。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义，我们必须重新认识数据的重要价值。,实现科学发展 做出科学决策,机遇2：大数据蓝海成为企业竞争的新焦点,大数据正在促生新的蓝海，催生新的经济增长点，
6、正在成为企业竞争的新焦点。,大数据所能带来的巨大商业价值，被认为将引领一场足以与20世纪计算机革命匹敌的巨大变革。,。 大数据正在对每个领域都造成影响，包括商业、经济等领域。,机遇3：大数据时代呼唤创新型人才,盖特纳咨询公司预测大数据将为全球带440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万49万，缺口14万19万人,需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。中国 是人才大国，但能理解与应用大数据的创新人才更是稀缺资源。,要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至
7、是异构的数据，还可与历史数据对照，多角度验证数据的全面性和可信性。,要达到低成本、低能耗、高可靠性目标，要用到冗余配置、分布化和云计算技术，存储时对数据进行分类，通过过滤和去重，减少存储量，并加入便于检索的标签。,大数据的复杂性使得难以用传统的方法描述与度量，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态及可能模棱两可的数据中综合信息，并导出可理解的内容。,使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难以通用。,挑战2：大数据给信息安全带来
8、新挑战,1,2,3,加大隐私泄露风险,对现有存储和安防措施提出挑战,被运用到攻击手段中,大量数据的集中存储增加了其泄露的风险； 一些敏感数据的所有权和使用权并没有清晰界定。,复杂的数据存储在一起，可能造成企业安全管理不合规； 安全防护手段更新升级慢，存在漏洞,黑客可收集更多有用信息，大数据分析让攻击更精准； 大数据为黑客发起攻击提供了更多的机会,“棱镜门”引爆大数据时代争议,事情的起因是美国中情局前职员斯诺登向媒体爆料，过去6年间，美国的情报部门通过一个代号为“棱镜”的项目，从多家知名互联网公司获取电子邮件、在线聊天内容、照片、文档、视频等网络私人数据，跟踪用户一举一动。他说，自己只需要坐在办
9、公桌前，动动指头，敲敲键盘，就能了解很多人的私密信息。,斯诺登的爆料引起一片哗然，根据他提供的资料，被卷入“棱镜门”事件的公司包括微软、雅虎、谷歌、苹果、Facebook等9大IT业巨头。在“棱镜门”事件开始发酵之后，这些公司先是赶紧出面否认与美国政府的监视项目进行过合作，并相继发表声明，呼吁政府采取更透明态度，以证明他们的“清白”。,添加相关标题文字,添加相关标题文字,04,大数据的趋势,借助大数据 尖端分析加速发展,如果正确的数据出现在合适的时间，您的业务将有望获得什么机会？如何更有效率地运营您的业务？通过数据分析获得变革的潜力与直观理解影响着医疗、银行、交通运输、制造等各行各业。,对于许
10、多早期的使用者，当他们从传统商业智能 (BI) 的实践发展到可靠直观理解的更高级分析（预测性和规范性）时，数据改变了他们的业务，无论是通过新的发现、更尖端的产品和服务或总体更好的客户体验。,大数据的趋势,趋势一,数据的资源化：是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。,趋势二,与云计算的深度结合：大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。,趋势三,科学理论的突破：随着大数据的快速
11、发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。,趋势四,数据科学和数据联盟的成立：未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。,趋势五,数据泄露泛滥：未来几年数据泄露事件的增长率也许会达到100%，除非数据在其源头就能够得到安全保障。可以说，在未来，每个财富500强企业都会面临数据攻击，无论他们是否已经做好安全防范。而所有企业，无论规模大小，都需要重新审视今天的安全定义。,趋势六
12、,数据管理成为核心竞争力：数据管理成为核心竞争力，直接影响财务表现。当“数据资产是企业核心资产”的概念深入人心之后，企业对于数据管理便有了更清晰的界定，将数据管理作为企业核心竞争力，持续发展，战略性规划与运用数据资产，成为企业数据管理的核心。,趋势七,数据质量是BI(商业智能)成功的关键：采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。其中要面临的一个挑战是，很多数据源会带来大量低质量数据。想要成功，企业需要理解原始数据与数据分析之间的差距，从而消除低质量数据并通过BI获得更佳决策。,趋势八,数据生态系统复合化程度加强：大数据的世界不只是一个单一的、巨大的计算机网络，而是一个由大量活动
13、构件与多元参与者元素所构成的生态系统，终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供商、触点服务、数据服务零售商等等一系列的参与者共同构建的生态系统。,05,大数据的 应用和案例,大数据的应用领域,教育学,情报学,公共服务,天文学,电子政务,传媒业,生物医学,商业智能,图书馆学,气候学,企业管理,市场营销,金融学,生活娱乐,总统选举,商品零售大数据,此事经被纽约时报报道后，塔吉特“大数据”的巨大威力轰动全美 在美国，有一位父亲怒气冲冲地跑到塔吉特卖场，质问为何将带有婴儿用品优惠券的广告邮件，寄送给他正在念高中的女儿? 然而后来证实，他的女儿果真
14、怀孕了。这名女孩搜寻商品的关键词，以及在社交网站所显露的行为轨迹，使沃尔玛捕捉到了她的怀孕信息。 模型发现，许多孕妇在第2个妊娠期的开始会买许多大包装的无香味护手霜；在怀孕的最初20周大量购买补充钙、镁、锌的善存片之类的保健品。 最后塔吉特选出了25种典型商品的消费数据构建了“怀孕预测指数”，通过这个指数，Target能够在很小的误差范围内预测到顾客的怀孕情况，因此Target就能早早地把孕妇优惠广告寄发给顾客。,拥抱大数据,消费大数据,亚马逊 “预测式发货”的新专利，可以通过对用户数据的分析，在他们还没有下单购物前，提前发出包裹。 这项技术可以缩短发货时间，从而降低消费者前往实体店的冲动。从
15、下单到收货之间的时间延迟可能会降低人们的购物意愿，导致他们放弃网上购物。,亚马逊可能会根据之前的订单和其他因素，预测用户的购物习惯，从而在他们实际下单前便将包裹发出。根据该专利文件，虽然包裹会提前从亚马逊发出，但在用户正式下单前，这些包裹仍会暂存在快递公司的转运中心或卡车里。 亚马逊为了决定要运送哪些货物，亚马逊可能会参考之前的订单、商品搜索记录、愿望清单、购物车，甚至包括用户的鼠标在某件商品上悬停的时间。,证监会大数据,回顾“老鼠仓”的查处过程，在马乐一案中，“大数据”首次介入。深交所此前通过“大数据”查出的可疑账户高达300个,交通大数据,UPS最新的大数据来源是安装在公司4.6万多辆卡车
16、上的远程通信传感器，这些传感器能够传回车速、方向、刹车和动力性能等方面的数据。收集到的数据流不仅能说明车辆的日常性能，还能帮助公司重新设计物流路线。,大量的在线地图数据和优化算法，最终能帮助UPS实时地调配驾驶员的收货和配送路线。该系统为UPS减少了8500万英里的物流里程，由此节约了840万加仑的汽油。,金融大数据,阿里“水文模型”是按小微企业类目、级别等分别统计一个阿里系商户的相关“水文数据”库。,如过往每到某个时点，该店铺销售会进入旺季，销售额就会增长，同时每在这个时段，该客户对外投放的额度就会上升，结合这些水文数据，系统可以判断出该店铺的融资需求；结合该店铺以往资金支用数据及同类店铺资金支用数据，可以判断出该店铺的资金需求额度。,演示完毕 感谢观看,