大数据运营管理中心.pdf

《大数据运营管理中心.pdf》由会员分享，可在线阅读，更多相关《大数据运营管理中心.pdf（29页珍藏版）》请在三一文库上搜索。

1、. ;. 大数据运营管理中心 一、大数据运营管理中心建设背景 工业革命以后， 以文字为载体的信息量大约每十年翻一番；1970 年以后，信息量大约每三年就翻一番；如今，全球信息总量每两年就 可以翻一番。2011 年全球被创建和被复制的数据总量为1.8ZB （1ZB=1021Byte ）其中 75% 来自于个人。互联网数据中心（IDC）认 为，到下一个十年（ 2020年），全球所有 IT 部门拥有服务器的总量 将会比现在多出 10 倍，所管理的数据将会比现在多出50 倍。根据麦 肯锡全球研究院（ MGI ）预测，到 2020 年，全球数据使用量预计将暴 增 44 倍，达到 35ZB 。 十八大提出

2、坚持走中国特色新型工业化、信息化、城镇化、农业 现代化“四化”同步道路，同时指出新型城镇化的四种表现形式是： 绿色生态、现代智慧、宜业宜居及民俗特色。在新型城市化过程中， 政府正积极推动技术创新为城市管理提供新思路，以现代信息化为基 础的智慧政府建设是国家治理能力现代化不可或缺的重要元素。智慧 城市作为城镇化、 信息化交汇融合的概念， 为加快城市现代化进程和 发展转型提供了实践模式。 大数据已成为与自然资源、 人力资源一样重要的战略资源，隐含 巨大的价值， 已引起科技界和和企业界的高度重视。如果我们能够有 效地组织和使用大数据， 人们将得到更多的机会发挥科学技术对社会 发展的巨大推动作用，孕育

3、着前所未有的机遇。 . ;. 二、大数据运营管理中心的内涵 大数据运营管理中心是指 需要通过快速获取、处理、分析 以从中提取有价值的海量、 多样 化的交易 数据、交互数据与传感 数据，通过现代信息技术、物联 网、云计算、互联网、等技术，将无法通过人工在合理时间内完成 的信息采集、处理、管理 海量数据 ，并将其整理成为人类所能解读 的信息， 找到物与物、人与物、人与人之间的数据关联，发现它们 背后的规律，这些数据通过集成共享，交叉复用， 形成一种智力资 源和知识服务能力，为管理者提供准确、可靠的决策依据 ，最终来 提升城市公共服务能力和管理决策水平。 三、大数据运营管理中心发展现状 目前城市中信

4、息孤岛、 网断联难现象仍存在。 大数据运营管理中 心实际上是物联网的具体应用，其障碍主要有三方面：其一，部门分 割、 条块分割的小数据中心建设， 形成了众多的“信息孤岛”。 其二， 标准建设相对滞后，标准不统一，业务操作系统软件难以模块化开发。 比如人车路等基本的数据单元，在不同的领域、 不同的管理部门各搞 一套，基础数据单元标准不一。其三，业务传感与应用装备建设，各 部门各搞各的，甚至一个部门内部也各搞各的，造成“有网无联”。 比如，治安一套监控系统、城管的一套监控系统、交警的一套监控系 . ;. 统。 在中国数据中心行业结构方面，电信、金融行业数据中心的建设较 早，投入较大， 应用相对成熟

5、，目前这两大行业数据中心建设投入占 据了 50% 以上的份额。 2008 年，在金融、电信、政府、企业等行业数 据集中化管理的带动下， 中国数据中心建设进一步加快，数据中心建 设进入一个快速发展阶段。 随着信息技术的发展，近年来，无论是芯片、架构、系统还是软件都 取得了很大进步，刀片系统、多核技术、虚拟化应用、冷却技术、智 能管理软件等新技术层出不穷， 对传统数据中心应用和管理带来极大 地冲击 ; 另一方面企业业务模式也发生了极大变革，急需建设新一代 数据中心来适应这一变化。 四、大数据运营管理中心未来趋势 数据集中已经成为国内电子政务、企业信息化建设的主流趋势。 . ;. 数据集中是管理集约

6、化的必然要求。大数据运营管理中心建设已成为 数据集中趋势下的必然产物。 绿色是大数据运营管理中心建设的灵魂，围绕节能减排和优化环 境进行谋划建设， 以可持续发展为出发点和归宿点，借以提高城市的 宜居度。 通过减少资源消耗， 开发新能源和实现资源的循环使用，推动城 市经济增长。 大数据运营管理中心承载着大量的机密数据，同时为内部、外部 提供业务交互和数据交换。 所以说作为业务应用核心和敏感数据的汇 集点，数据中心永远是攻击者最感兴趣的目标，大数据中心安全、可 靠、可持续的服务是大数据运营管理中心首要任务。 . ;. 充分实现高效的运营方式，优化资产，提升包括硬件、软件、其 他支持设备和员工与流程

7、在内整体数据中心运营效率。数据中心基础 架构需要具有自适应能力， 以便提高经济高效性， 同时降低前期购置 和后期运营成本。 能够满足当前业务发展的需求， 同时具备足够的灵活性响应未来 未知的业务需求、技术和计算模型; 可以提供端到端的数据服务，全面支持业务发展的需求， 推动业 务的高速发展， 以云计算及虚拟化管理技术， 满足城市信息化应用支 撑平台的需求， 实现所有硬件设备资源、 应用系统的统一管理和自动 . ;. 分配，屏蔽底层不同服务器、存储设备、网络设备的差异，实现对存 储资源、网络资源的异构支持。 可以实现主动式监测和管理能力， 提供针对数据中心运营的深刻 洞察，以满足对数据中心可用性

8、、容量及能源效率需求。用户需要使 用更多的系统管理工具将自动化和智能融入到日常运营中，以便积极 监控和管理环境， 专注于满足业务增长提出的可用性、容量规划和能 源效率需求。 . ;. 五、大数据运营管理中心总体架构 1. 感知层 大数据运营管理中心的感知范围重点围绕交通、能源、物流、工 农业、金融、智能建筑、医疗、环保、市政管理、城市安全等重点行 业的应用和难点，分别采用移动终端、RFID 、智能卡、 GPS定位等不 同技术进行基础数据采集。 2. 网络层 随着各种通信技术逐步走向融合，如电信网、数字宽带、有线电 . ;. 视网、无线网络等走向融合，传输层形成天地一体化的基础网络、服 务化的信

9、息系统、聚合化的运营平台和多样化的业务应用。 3. 信息资源层 信息资源层由基础数据、服务数据、业务数据三部分组成。在统 一信息资源模型体系、 统一信息编码体系和数据仓库的基础上，通过 信息系统数据库和文件库为日常的业务管理与查询提供支撑，数据仓 库体系为决策支持应用提供支撑， 信息资源访问渠道为各种信息资源 应该提供访问接口。 4. 应用服务层 应用服务层紧扣城市的产业发展体系、智慧的环境和资源体系、 智慧的城市运行体系、 智能的城市交通体系、 智能的民生保障体系以 及智慧的幸福生活体系。 5. 交互层 与用户交流沟通平台，如门户网站、APP 应用、移动设备、办事 大厅等。 6. 用户层 大

10、数据运营中心服务人群，企业、政府、公众均是大数据收益者。 . ;. 六、大数据运营管理中心技术架构 技术架构采用“一网、一库、三平台、多应用系统”的模式建设， 一网是指电信网、广播电视网、互联网三网融合形成的“一张网”， 一库是指城市基础信息数据库， 三平台是指公共信息资源共享交换平 台、城市视频监控资源共享服务平台、城市网格信息可视化平台，多 应用系统是指面向政府、企业、公众提供的各类智慧城市应用服务， 城市运营状态监控系统、 城市综合应急指挥系统、 城市发展决策分析 支持系统、跨部门协同办公系统， 同时与技术支撑体系还需要政策保 障体系和信息安全保障体系相配套。 . ;. 七、大数据运营管

11、理中心数据架构 数据架构采用二级层次模式。第一层是公共数据，包含整个 体系的核心基础数据集、 公共代码数据， 以及为决策支持而装载到 数据仓库中的数据。 公共数据遵循统一的数据标准，提供给所有信 息系统共享。第二层是应用数据，这些数据由信息系统产生，或者 与信息系统关联紧密。 应用数据的结构设计遵循统一的规范，与公 共数据有关的数据需要严格遵循统一的数据标准。公共数据与应用 数据之间，或者是应用数据与应用数据之间，通过数据交换的模式 互通有无。此外，公共数据还通过数据服务平台，为其他系统或用 户提供数据的查询检索等服务。 . ;. 八、大数据运营管理中心管理体系 以城市基础信息数据建设和信息交

12、换、共享、可视为核心，形成 统一的居民、法人、地理、建筑等数据库，实现各垂直部门系统之间 的互联互通和数据动态共享；通过对社会治安、交通车辆、水/ 燃气/ 能源等市政设施、环境污染等的监控，实时把握城市运营状态，及时 发现重大事件， 并通过协同多部门协同应对突发事件；通过建立针对 市民服务的统一信息门户， 实现对各类市民投诉集中地处理与督办和 实现跨部门协同。 通过城市运营状态和城市服务绩效的可视化实现城 市管理的可视化， 通过大数据挖掘实现对城市未来趋势的分析和预测， 提高科学决策水平。 . ;. 九、大数据运营管理中心业务架构 1. 城市基础信息数据库 采用云计算及虚拟化管理技术，满足城市

13、信息化应用支撑平台的 需求，实现所有硬件设备资源、应用系统的统一管理和自动分配，屏 蔽底层不同服务器、存储设备、网络设备的差异，实现对存储资源、 网络资源的异构支持。 建立涵盖城市空间地理、人口信息、企业信息、诚信、车辆、房 屋、公共基础设施、 自然资源和宏观经济数据的城市公共信息基础数 据库；协调组织部门定期完成数据的普查与更新；制定公共信息查询 和服务标准，探索市场化信息维护、开发和利用机制。 . ;. （1)数据分类原则 数据来源，主要可以分成政府统计部门数据和政府其他各部门 数据； 数据层次，分成原貌数据层和整合数据层；原貌数据按照数据 来源并保持原貌特征存储的数据， 整合数据是原貌数

14、据经过整 合处理后形成的逻辑统一的数据； 数据粒度，分为宏观和中观两个层面数据。宏观层指标为反映 地区社会经济发展整体运行状况的主要社会经济总量指标及 其结构、速度、效益指标数据；中观层指标为按照产业、 行业、 区域等特征进行分组的汇总数据和分类数据； 业务指标体系划分，主要包括经济运行、城市建设、人口就业、 社会发展、环境资源；经济运行又可以分成总量、 财政、税收、 . ;. 投资、工业生产、房地产开发等等； 区域特征，按照行政区划和区域功能划分数据。 （2)数据分布 根据数据业务分布与数据系统分布确定数据库分布方式 （3)数据管理 建立标准数据模型与数据标准管理，数据分布管理， 数据质量

15、管理，数据安全管理，数据生命周期、存储维护管理 2. 公共信息资源共享交换平台 （1)建立统一的信息标准和交换机制 建立和完善全市统一的政务信息资源共享标准规范体系和 查询、交换及访问授权等共享交换机制，为信息资源共享交换 平台的实现奠定底层基础。 . ;. （2)建立信息资源开发使用补偿机制，推动业务部门数 据开放 政府制定政策逐步开放公安、工商、税务、国土、水利、 安检、交通、环保等业务部门的数据信息，建设社会征信、人 口管理、城市管理、应急指挥等一批跨部门、跨行业、跨区域 的共享业务数据库；推动各部门根据业务需要制定本部门的信 息资源共享目录，加强部门内部信息资源共享目录更新和市共 享交

16、换平台同步；探索信息资产开发与共享市场化运营机制。 （3)建设信息资源交换共享平台 依托云计算、大数据中心，升级和完善信息资源交换与共 享平台功能，实现基础信息的共享交换、 统一管理和及时更新， 为各部门提供数据交换、信息安全、导航等服务。推动县级政 务共享交换平台的建设，实现与市级平台的有效对接。推动各 部门基于平台通过查询、交换和发布等方式实现跨部门、跨区 域、跨行业信息资源的共建共享。 （4)平台总体架构 . ;. 从根本上打通政府各机关、各部门之间的壁垒，解决历史遗留的 “信息孤岛”问题，实现城市公共信息资源地有效共享，有利于降低 政府运行成本、提升办公效率；围绕财政、工商、税务、卫生

17、、人 口、教育、交通、环保、金融等新业务需求，可开发具有各种创新型 应用系统。 （5)平台业务架构 . ;. （6)平台交换架构 支持异构数据源，统一采用标准数据格式，方便进行数据 转换、交换等处理。解析各种应用协议，通过图形化配置动态 实现应用集成 （7)平台共享流程架构 . ;. 通过流程管理实现流程的动态变化 3. 城市视频监控资源共享服务平台 （1)建设共享服务平台，接入各社会视频资源 通过建设统一视频监控接入骨干网络和定义统一视频接入 标准，建立统一的视频服务共享平台，将各委办局已有的零散 视频监控资源进行整合接入平台统一管理，鼓励学校、小区、 银行、超市、公交、餐饮、景区等单位加大

18、视频监控设备改造 力度，推动社会单位视频资源接入共享平台。 （2)建立集约化智能化的视频监控资源管理机制 建立视频设备的运行及维护机制，实时监控前端设备的运 行状态，确保接入视频资源质量。通过对视频图像进行智能分 析，实现海量视频数据的快速智能检索，为公安部门侦办案件 提供支持。 （3)建立视频资源分享机制，确保各部门视频资源的有效共享 探索建立视频资源分享与补偿机制，推动公安、交通、城 . ;. 管等大型视频监控资源的开放和通过平台进行共享，从而实现 对各种视频监控资源的有效利用。 （4)平台总体架构 . ;. 根据行政区划或者摄像机的数量， 若干个委办局级的监控点汇聚 到一个分区的监控中心

19、， 在区级中心往上开始部署相应规模的监控 平台。市级监控中心管理本市下属所有区级中心，区级中心管理辖 区委办局级监控平台。整体呈现一个树形的分级划管理。 （5)平台视频流调度架构 分层管理架构和管理权限， 有层次地开展监控指挥工作， 可以按 行政区域部署，从市、县，向下无限延伸，体现出分级多域结构很 好的扩展性； 实现第三方独立的域的互信无缝接入， 即在两个域的中心服务器 和数据库中设置好对方域的基本信息，做到彼此数据同步， 信息互 通。 （6)平台存储架构 . ;. 采用云存储技术， 支持海量视频数据存储。 可靠的冗余技术保证 数据记录的可靠性。根据监控系统规模和所需要保存的视频数据记 录的

20、时长，配置存储容量， 并通过热插拔技术支持动态扩展，理论 上支持无限长时间的视频备份。 4. 城市网格信息可视化平台 依托 GIS地图数据，按照网络划分定期对城市进行三维实景数据 采集，并对关键地区和重要公共设施进行三维空间建模，结合城市 基础信息数据库数据生成各种属性信息；建立可视化服务平台， 为 各种应用提供二次开发接口和提供数据查询服务，便于各部门业务 系统调用。 （1) 建立标准网格化GSI地图 （2) 三维空间建模 . ;. 5. 城市运行状态监控系统 （1)建立和完善各职能部门的业务监控管理系统 公安、交通、电力、燃气、自来水、通讯等较早应用计算机信息 技术的部门已经建立了一定规模

21、的业务监控管理系统，但仍需进一 步完善和提高，其它信息化水平较低的部门应逐步建设一套自身的 健全的监控管理系统。 （2)建立统一运营监控平台 定义针对安全、能源、交通、市政设施、国土资源和生态环境等 城市基础管理中的关键运营指标，设计大数据分析挖掘模型； 建立 统一监控平台系统，依托公共数据交换平台与各相关职能单位的监 控管理系统相连， 实时收集各关键部门的监控数据，动态分析各部 门的运营趋势和关联分析跨系统部门存在的问题。 . ;. 6. 城市综合应急指挥系统 （1)建立针对社会事件和自然灾害的监控网络 依托城市视频监控资源共享服务平台和结合公安、交通等部门监 控资源，实现在覆盖全市监控网络

22、， 划定重点监控对象， 实现多层 次立位体化的监控。 （2)建立统一的城市综合应急指挥系统 建立统一指挥平台，整合110、122、119、120 应急平台，实现 与公安、消防、卫生、交通、防灾、安全生产、人防等各垂直部门 应急指挥系统之间的信息共享和联动指挥，建立统一的信息发布平 台，设置统一的应急预案。 7. 城市发展决策分析支持系统 基于工商、税务、财政、人口、教育、医疗、交通、环保等领 . ;. 域已建设系统，整合经济发展、城市运行、社会管理等各领域数据， 以商业智能、 地理信息、数据挖掘等技术手段为依托， 建设涵盖城 市管理、经济活动、社会活动、环境资源、征信管理等方面的综合 性体系和

23、科学有效的分析、 预测模型、 建设智慧决策支持工程， 准 确、全面的掌握城市发展信息， 为各级城市管理者提供科学决策支 持。 8. 城市运营管理智能协同系统 结合及时通讯、 移动互联网、 工作流协同等现代技术手段， 解 决目前各部门 OA系统以垂直单向传输和文件签批为主的缺陷，加 强各部门之间的横向沟通， 实现各部门之间沟通的多媒体化和自动 化。 . ;. 通过建设跨部门协同系统， 可以减少信息传递层， 提高跨部门 沟通的效果，有利于提升各部门办事效率。 建设基于及时通讯、多媒体视频和工作流协同的一体化在线实 时沟通交流平台；开发基于PC 、智能手机、平板电脑的移动办公 终端；通过公共信息资源

24、共享交换平台，实现与现有OA系统的整 合。 十、大数据运营管理中心安全体系统保障 安全保障体系通过在物理、网络、系统、数据、应用、终端 等多层次建立安全防范措施，构建可控、可信、可查的安全环境， 建立一套行之有效的信息安全管理制度和流程规范，实现严密、多 渠道的安全控制， 确保系统安全可靠， 提高用户对信息系统的信赖 度。 . ;. 总体结构覆盖了等级保护三级基本要求中对网络安全、主机安全、 应用安全、数据安全和管理安全的防护要求，以满足信息系统全方 位的安全保护需求。同时，由于信息安全的动态性，还需要建立安 全风险评估机制，在安全风险评估的基础上， 调整和完善安全策略， 改进安全措施，以适应

25、新的安全需求，满足信息系统安全等级保护 的要求，保证长期、稳定、可靠运行。 十一、大数据运营管理中心标准体系 大数据运营中心标准化体系包括总体标准、感知层标准、 网络传 输层标准、信息资源层标准、 应用服务层标准、 安全标准、管理标准。 . ;. 1.基础类标准 基础类标准包括通用规范、 技术术语、物联网系统通用图形符号、 产品分类和代码等， 此部分的标准是对城市社会公共安全物联网中的 基础性内容进行要求、 约束和规范， 在城市社会公共安全物联网应用 范围内可以直接应用， 也可以作为其他标准的依据和基础，是该领域 中所有标准的共同基础，具有普遍的指导意义。 2.技术服务类标准 技术服务类标准包

26、括通信与信息交互标准、网络管理标准、 产品 技术标准、服务支持标准等。其中，信息交互标准是通过对物理、数 . ;. 据、通信等接口和数据交换格式进行标准规范，实现社会公共安全物 联网中的海量、 多类别、不同源的数据能够进行交互和汇聚的系列标 准，网络管理标准主要服务于物联网基础平台、保障社会公共安全物 联网运行维护以及管理而制定的，是指导社会公共安全物联网运行、 维护、管理及更新的技术规范。 产品技术类标准与物联网分层架构相对应，按照感知层、网络层、 应用层进行产品技术类标准划分， 针对社会公共安全领域每一层物联 网架构中涉及的物联网技术产品进行约束和规范，使得物联网中技术 产品能够满足统一的

27、要求，为物联网应用系统中数据采集、交互、处 理、显示等统一规范提供保证。 服务支持系列标准是为整个公安物联网基础平台提供保障支 持买，通过对支持服务的规范，提供更有效的数据检索、管理、处理 和挖掘，服务支持标准包括：数据描述、数据存储、目录服务、中间 件接口。 3.应用类标准 应用类标准主要是针对各类具体的社会公共安全物联网应用而 制定的标准。制定此类标准要在继承和发展已有公安业务系统标准的 基础上，根据物联网应用的具体实际，从数据、业务等方面抽象归纳 出一些与业务警种相关联的物联网应用模式，如车辆轨迹感知应用、 特定危险品防控智能感知应用等， 并对这些应用模式进行约束和规范。 4.工程类标准

28、 工程类标准即对物联网应用示范工程的建设进行规范和要求，包 . ;. 括工程系统要求（类似总则）、工程技术规范、各类物联网应用系统 工程设计规范、工程程序与要求、工程验收规范等，对物联网应用示 范工程的建构、实施、运行过程的管理提供指导。 5.测评类标准 测评类标准主要为对物联网应用示范工程整个生命周期中的测 评服务提供依据， 保证物联网应用的有效性和安全性，包括城市社会 公共安全物联网应用中相关各类产品及设备检测呗准、系统测评标准、 安全测评标准等， 如产品及设备检测实施细则、 物联网应用系统工程 评价导则、应用系统测试评价要求、应用系统安全评估准则等。 十二、结速语 大数据术语广泛地出现也使得人们渐渐明白了它的重要性。大数 据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇。 与此同 时，大数据也向参与的各方提出了巨大的挑战-