《微观大数据.ppt》由会员分享，可在线阅读，更多相关《微观大数据.ppt（38页珍藏版）》请在三一文库上搜索。
1、,微观 大数据,ZHANG DONG, 数据,1948年辽沈战役，每天要进行例常 “每日军情汇报”。林彪要求：俘 虏要分清军官和士兵，缴获的枪支，要统计出机枪、长枪、短枪；缴 获的汽车，也要分出类别。,一天深夜，值班参谋读战报：说碰到一个不大的遭遇战。林彪敏锐的,发现了数据的异常，只问了 3个问题 就判断出敌人的指挥所所在地：, 为什么那里缴获的短枪与长枪的比例比其它战斗高？, 为什么那里缴获和击毁的小车与大车的比例比其它战斗高？ 为什么在那里俘虏和击毙的军官与士兵的比例比其它战斗高？,http:/ 识。如果把今天全世界的信息平分给活着的每个人，每人获得,的信息量将是当年亚历山大图书馆藏书量的
2、 320 倍,根据IDC发布的数字宇宙研究报告 (Digital Universe) 显示： 在接下来的8年中，人类所产生的数据量将超过 40ZB (泽字,节)，相当于地球上每个人产生 5200GB 的数据 预计从现在到2020年，数据量每两年翻一番, 大部分数据将不是由人类产生，而是由机器，包括机器传感,器以及与其他设备通信的智能设备,http:/ 大数据到底有多大？ 一组名为 “互联网上一天” 的数据告诉我们： 一天之中，互联网产生的全部内容可以刻满1.68亿张 DVD, 邮件有 2940,亿封之多,相当于美国两年的纸质信件数量,社区帖子达 200万个，相当于时代杂志770年文字量 htt
3、p:/ 素和巨大的经济资产，开启一次重大的时代转型。,大数据是管理国家的手段、商务经营的法宝、未来就 职的热门，发达国家下一轮全球化竞争中的利器,2013 被称为大数据元年,http:/ 倡议书,奥巴马政府发布 “大数据研发倡议书”,2012年3月29日，美国政府宣布了 “大数据研究和发展 倡议书”，来推进从大量的、复杂的数据集合中获取知识,和洞见的能力。该倡议涉及联邦政府的6个部门美国 国家科学基金（NSF）、美国国家卫生研究院（NIH）、 美国能源部（DOE）、美国国防部（DOD）、美国国防 部 高 级研究 计 划局 （ DARPA ） 、 美国地 质 勘探局 （USGS）六个部门。,ht
4、tp:/ x 应用行业, ,电子商务 金融，保险 医疗健康 军事，安全, ,创业投资 教育学习 互联网广告 影视娱乐 博彩，足彩，彩票 大选 股票 运营商 交通环保 农业 ,x, ,搜索数据 浏览、购买数据 社交媒体数据 IM、邮件数据, ,声音数据 图像数据 视频数据 个人健康数据 压力数据 GPS 位置数据 行驶路线数据 宏观经济数据 微观经济数据 犯罪数据 ,浏览购买数据,x 电子商务,聚划算商品预测系统 聚划算中筛选商品是关键的一环，这个项目之前运营人员 每人平均每天要审核 200个 商品。 为提升选品效率，增加爆款量，根据聚划算、淘宝的属性， 卖家的属性，品牌属性，机器自动筛选高销量
5、的商品和卖 家，从海量的卖家中去找到最合适的卖家，还有合理的定 价和库存管理：提高了平均单产 64% http:/ t_from=sina&app=news_article,社交媒体数据 x 商业,沃尔玛在全球超过 200 万员工，有 110 个超大型配 送中心，每天处理资料量超过10 亿笔。,沃尔玛收购的 Kosmix 打造的大数据系统称做“社交基 因组Social Genome”：连接到 Twitter、Facebook 社 交媒体。工程师从每天热门消息中推出与社会时事呼 应的商品创造消费需求。,http:/ x 公共卫生,谷歌通过观察人们在网上的搜索记录以预测流感传播 在将预测结果与20
6、07年、2008年美国疾病监控中心记录,的实际流感病例进行对比后，谷歌公司发现了45条检索 词的组合，将它们用于一个特定的数学模型后，他们的 预测与官方数据的相关性高达 97%，且预测更及时，不,会像官方数据一样要在流感爆发一两周后才发现,2009年甲型H1N1流感爆发的时候，与习惯性之后的官方 数据相比，谷歌成为了一个更有效、更及时的指示标。,http:/ x 机票预测,Farecast 飞机票价预测工具,Farecast 系统利用近 十万亿 条价格记录来帮助预测美,国国内航班票价而且 Farecast 票价预测准确度已经高达,75%，平均购买每张机票可节省 50美元,目前已被微软收购并整合
7、到 Bing 中,http:/ x 保险,中英人寿通过分析爱好、常浏览的网页、常看的节目、 收入估计等好几百种生活方式数据，找出更有可能患 高血压、糖尿病和抑郁症的人,申请者不必提供血液和尿样，可使保险公司在每人身 上节省 125 美元,http:/ x 小微贷款,造成小微企业融资困境的根源有两个：资金供需双方之间 信息不对称和风险管理上的激励不相容。但是，在大数据 时代，这两个难题正在出现有解的可能。基于大数据应用 的互联网金融产业，正尝试突破束缚小微企业融资的信息 与成本枷锁，一定程度上扭转信贷资源分配的不对称格局 比如 P2P 在线贷款公司 Lending Club、阿里贷,谷歌 5 月
8、 2 日称，它已经用 1.25亿 美元收购 Lending Club 的少数股权，据报道约占 7%。,http:/ x 阿里金融,揭秘阿里金融：转账，放贷，吸储,马云到底要推动它变成怎样的梦工厂？支付、融资、 担保、理财无所不包？还是做成一个管理十亿人信用 的巨型数据库和信用平台，覆盖银行、保险、券商、 基金、小贷公司等所有金融机构？它目前取得了哪些 成绩？它从何来到何处去？告诉你一个真实的阿里金 融,http:/ x 运动,耐克数码 Nike+,耐克将技术与运动装备相结合，推出Nike+系列，帮助用 户在参加体育运动的时，检测与个人相关的统计数据。该 系列还拥有 APP 和社区，形成了线上的
9、即时互动，吸引 了大批消费者。,快乐，运动！,运动不一定健康，不运动一定不健康：科学运动！,http:/ x 运动,大数据分析技术降低运动员受伤的风险,在每次训练中，老虎队球员们会佩戴高精度的身体传感器， 提供有关运动中肌肉，肌腱，和呼吸系统的详细信息，从 心率到施加在运动员身体上力量的反馈数据等。,球员监控系统由体育分析软件开发商 Edge10 开发，同时 使用IBM提供的分析工具对收集到的信息进行分析。数据 分析过程反馈的结果能够精确判断球员受伤的风险。,http:/ x 比赛,NBA比赛背后的大数据,目前有一半的NBA球队使用内嵌英特尔至强处理器的SportVU 运动数据采集系统，每秒拍
10、摄25张图片，及时进行数据分析， 得出结论改进攻防策略。,“运动家” 棒球队利用大数据选择球员,迈克尔.刘易斯在魔球一书里讲述了奥克兰“运动家”棒球队 的经营哲学。运动家棒球队的总经理比利.比恩，依靠电脑程序 和数据模型分析比赛数据，用来选择球员，指导比赛。最终他 带领球队在美国联盟西部赛中夺冠，并创下20场连胜纪录。,http:/ http:/ x 医疗,37 健康,主要针对慢性病领域人群：高血压人群。通过对病人数据 云端化的采集，并对数据进行预诊性的评估，建立起病人 与医生和家人之间的互动。,另外，由于慢性病治疗周期长，37健康还会提供针对慢 性病治疗的监测过程，包括治疗效果的反馈、药物的
11、管理 以及生活习惯的管理等等。,http:/ x 保健,作为传统设备身份的麦克风，通常都是用来采集声音。但 凭借最新发展的技术及软件，能够让这种传统设备用于新 的用途：, StressSense: 帮人们确定愤怒状态和后续反应之间的,关联性, BeWell: 能通过监测人的 “睡眠、身体活动和社交情况”,三个指标以借此评估人的整体健康状况, MusicalHeart: 能分析佩戴者的心率，推荐歌曲以调节,心率,http:/ x 国家安全,棱镜门,据美国中情局前职员爱德华斯诺登爆料：“棱镜” 窃听计划，始 于2007 年的小布什时期，美国情报机构一直在九家美国互联 网公司中进行数据挖掘工作，从音
12、视频、图片、邮件、文档以 及连接信息中分析个人的联系方式与行动。监控的类型有10 类：信息电邮，即时消息，视频，照片，存储数据，语音聊天， 文件传输，视频会议，登录时间，社交网络资料的细节，其中 包括两个秘密监视项目一是监视、监听民众电话的通话记录， 二是监视民众的网络活动。,http:/ x 安全,洛杉矶警局按计算机算法建议的路线巡逻后抢劫事件下降,25%,软件在预测犯罪上是随机检查,6倍,而人类犯罪分析专家成绩是随机 3倍 该软件由加州创业公司PredPol开发，联合创始人Jeff Brantingham 是 UCLA 的人类学家 http:/ x 教育,一名热爱教育事业的老师因为看不惯笨
13、重教学过程辞职 开创网络教育公司 Ontract：将包括学生信息系统、学习 管理系统等数个分离的教育系统联结在一起，并通过收 集和分析学生数据，为教师提供改进工作的视角,Knewton 通过 “自适应学习推荐算法” 提升托福考试成绩 公务员考试辅导软件“猿题库”通过大数据，根据某用户 “DNA”，参照其他有相同DNA用户的做题记录和数据为该 用户生成高效的做题策略,http:/ x 互联网广告, ,Search Ads Contextual Ads Behavior Targeting RTB,大数据,x 创投,匿名 VC 爆料：挑选创业团队也开始用大数据了, ,风投调查你都阅读些什么？ 电话
14、号码的使用年数，每天第一个电话拨打的时间？ 创业者和欧斯曼拉瓦奇比起来怎么样？ 是否有斯坦福校友？,某国内知名投资公司利用微博数据发掘 靠谱的创业者 http:/ x 票房,谷歌称能根据搜索量预测电影票房准确率94% 据国外媒体报道，本周，谷歌发布一篇研究论文，称 能够根据谷歌网页和 YouTube 搜索量，再加上其他 辅助数据以 94% 的准确率预测出好莱坞新电影首映 第一个周末的票房。,http:/ & 股价逆袭,纸牌屋探秘：Netflix 的大数据炼金术,3000万用户、每天3000多万点击、每天400万个评分以 及每天300 万次搜索请求，庞大的数据池，让Netflix 公司 可以通过
15、推荐算法准确找到喜欢政治惊悚片、大卫芬奇 和凯文史贝西作品的观众群，创造了颠覆性的成功。,http:/ x 彩票,澳洲的几十位数学家携手在大量数据基础上，借助云计算，开 始推导当地彩票开奖结果，他们认为海量数据会帮助他们更接 近实际结果。,同时，在被认为最具技术性的足球彩票中，据专业人士透露， 当前彩民能够掌握的数据只占了实际足球数据的 5%：足球比 赛早已被量化成数字，足球数据不单是穆里尼奥这样世界顶级 教练的掌上法宝，更是专业彩民的需求。,接下来的问题就是数据处理，精确到每场比赛每个队员每脚出 球路线和其他 10个可能的接球队员之间成功率这样的数据， 如果以 300 场每天的量级放在普通彩
16、民面前，数据就会像一座 珠穆朗玛峰,http:/ x 大选,大数据成功预测了 2012 美总统大选 和 85 届奥斯卡,David Rothschild是微软纽约研究院一名经济学家，在 2012年美国总统大选中，他正确预测了51 个选区中 50 个地区的选举结果，准确性高于98%。,不久前，David Rothschild通过大数据分析，对第 85 届 奥斯卡各奖项的归属进行了预测，除最佳导演外，其它各 项奖预测全部命中,http:/ x 股价,Twitter 消息可预测个股的涨跌情况,Twitter 上的信息可以迅速地捕捉到市场变化情况， Twitter 上强烈的买入信号往往会预示着某支股票
17、会在第 二天带给投资者高于预期的收益率。,同时，涉及某支股票的 Twitter 消息多少还与第二天该股 票交易量高低密切相关。波动幅度较大 (意味着股价变化 很大) 会导致相关Twitter 消息数量增多，因为用户都纷纷 向同行请教这方面的信息。,http:/ x 运营商,运营商开始出售用户数据，成为大数据公司 运营商的数据挖掘实践早已开始：, 比如说，捕捉和拦截用户访问非法网址的绿色上网 比如分析用户消费行为后进行的针对性营销 弹出广告窗口等,美国的电信运营商的步子迈得更大了，据华尔街日报报道，国 外运营商开始将自己手握的海量用户数据变现，将用户的位置、 旅行、上网流量习惯等信息出售给包括广
18、告公司在内的第三方， 比如 Verizon 推出的 Precision Market Insights，NBA 球队菲 尼克斯太阳队就是是这项服务的客户之一，太阳队用它来找出 来观看比赛的人群住在哪里，从而加强其他地区的广告营销。,http:/ x 交通,爱尔兰首都都柏林已与IBM合作，利用实时数据来简化公交交 通。大数据策略帮助了该地区的公交顺畅运行。都柏林的交通 控制站能够利用数据定位巴士的实时位 置。管理人员得以快速 将公交网络中潜在的问题可视化。例如，管理人员可以确定拥 堵区域，并在拥堵蔓延到其他交通干线之前找出问题的根源。,南京市基于强大的云平台运行智慧交通云系统、云视频监控和 智能
19、分析应用，实时采集和处理南京1000个摄像头，并对整个 南京140万机动车规模的交通数据进行实时查询和分析，并主 动报警、主动通知用户。,http:/ x 农业,大数据风潮现在已吹到农业去了,100 头奶牛的农场的运营只需要 “机器人+智能手机” 就能将所有的事情干完。,目前传统农业正在接受移动互联网、智能技术和大数 据浪潮的洗礼。对传统农业生产者，这将产生不小的 冲击，但也会带来巨大的机遇,http:/ 雪佛龙利用大数据技术消除 “炼油、销售，运输下游 系统” 中的重复流程和系统每年可节省 5000 万美元, 美国医药贸易商 McKesson 将大数据技术融合到供应,链业务中，节省了超过 1亿美元 的流动资金, eBay分析平台每天处理数据量达100PB，通过大数据,优化其广告费降低了90%, 加拿大皇家银行在大数据上每投入600万美元，就能,获得1.2亿美元的收入回报,http:/ 5 个开放问题, ,多大是大数据？ 越大越好吗？ “大” 能带来什么价值? 数据，模型，应用 三者哪个更重要？ 大数据是好的创业方向吗？有哪些可以创业的点？ 工程师如何进入大数据领域？ 人人都在谈大数据，大数据是泡沫吗？,谢谢大家！,