《数据采集分析平台方案.ppt》由会员分享，可在线阅读，更多相关《数据采集分析平台方案.ppt（45页珍藏版）》请在三一文库上搜索。
1、二O一O,开普互联安全智能表单 及数据采集方案介绍,1.1.开普安全智能表单介绍,在线/离线使用端,数据库/应用系统,开普安全智能表单提供了一种手段，通过基于表单格式的电子文档把信息、人和数据库以及应用系统灵活地连接在一起，使信息系统回归人的使用习惯。,1.2.开普安全智能表单应用架构,1.3. 开普安全智能表单文件构成,表现层 高度仿真传统纸面表单样式,逻辑层 自动提取以往填报的信息，填写数据可进行校验和计算,安全层 可设定不同对象处理不同字段，支持加密传输和数字签名/签章,数据层 实现填写信息直接入库，支持XML格式实现数据交换,1.4. 开普安全智能部署架构,1、仿真纸面效果，降低学习成
2、本,设计完成的表单只需发布到服务器上即可使用，外观样式无任何变形，完全保留我们熟悉的纸面表单习惯。,1.5.开普安全智能表单特点,支持对表单填写字段信息类型和规则进行校验，支持不同字段域信息进行比对和动态计算,2、智能性,1.5.开普安全智能表单特点,支持口令和证书方式加密保存和传输 在线/离线电子签名； 在线/离线电子签章； 电子签名和电子签章可加盖于指定字段； 经签名和签章后的内容不可篡改，可作为证据保留，并可追溯历史记录；,3、字段级的表单安全控制,1.5.开普安全智能表单特点,表单设计和工作流设计的柔性化方式，允许用户按照实际业务环节和内容驱动工作任务完成。,4、集成灵活高效的工作流引
3、擎,1.5.开普安全智能表单特点,无须一定要在线环境下操作，支持离线方式基于本地桌面填报，所有操作与在线效果一致，尤其填写大数据量内容时更方便。,5、支持多种信息采集渠道,1.5.开普安全智能表单特点,表单 服务 接口层,表单服务器,流程服务器,文档安全服务器,文档库服务器,应用系统,WebService/EJB,6、全面采用SOA架构,1.5.开普安全智能表单特点,7、集中的模板库管理,1.5.开普安全智能表单特点,2.1.1数据采集业务分析,信息采集 数据库,业务监控,数据源,采集方式,数据利用,Web,文件,XML,多媒体,文档,数据库,其他业务 系统,2.1.2数据采集业务中面临的主要
4、问题,数据来源各部相同，数据采集方式多种多样。有人工填表后录入方式、报送电子文档方式、纸介质方式、直接用软件报送方式等等。 数据采集工具多样。既有各业务系统，也有转为各个业务开发的软件小系统。但这些系统各有特点，每个系统都需要对各级部门逐级培训。 基层数据采集部门业务繁忙。需要掌握很多套软件，填报很多表格文档才能完成填报工作，而且各个业务的统计调查软件的界面、风格、使用都不一样。 已采集的数据难以实现共享。由于数据的采集方式、存储方式、实现技术个不相同，不同业务单位采集的数据往往只能自己使用，无法实现共享，重复采集的情况时有发生。,2.2业务流程分析,人保部平台根据业务需求，生成对应的采集任务
5、； 将采集任务下发到各级采集节点； 各级采集节点根据采集任务的要求进行数据填报； 按采集数据报送到部级平台。,业务流程分析,2.3.1采集模式分析：数据直报,2.3.2采集模式分析：逐级上报,采集点将数据按照规定的逐级上报流程（如县-地市-省-部，或县-省-部），经过逐级审核和加工清理后，将数据最终报送至人保部相关部门。,数据逐级上报,2.4.1系统总体架构图,自动抓取,在线填报,离线填报,移动采集,其他业务系统,其他业务系统,其他业务系统,Web,文件,多媒体,XML,文档,数据库,智能表单服务器,数据采集平台,数据源,2.4.2系统总体架构概述,以开普安全智能表单位基础，实现数据采集平台的
6、构建； 由采集平台提供统一的数据采集业务基础功能。 由采集平台提供统一的数据加工分析基础功能。 通过数据交换组件实现平台与其他业务系统之间的数据交换。,从而实现基于数据采集平台，快速构建新的业务应用系统!,2.5系统技术架构,网络环境,安全设备,中标LinuxServer,基础层,J2EE平台,关系型数据库,中间件平台,系统层,开普数据统计报表,开普安全智能表单,支撑层,业务层,业务功能,业务功能,业务功能,业务功能,业务功能,业务功能,表现层,XML,以开普表单和报表产品作为业务支撑平台,OCX,J2ME,JSP,支持移动、在线、离线（客户端）等多种表现方式。,基于J2EE规范实现，具有良好
7、的跨平台性。,SOA，基于服务的开发模式,2.6.1系统功能架构,指标管理,采集指标分类管理,元数据管理,指标维护,采集表单管理,采集表单设计,采集表单维护,表单样例管理,表单分类管理,采集表单查询,统计报表管理,统计报表设计,统计报表维护,报表样例管理,报表分类管理,统计报表查询,采集任务管理,采集任务设置,采集频度管理,任务表单映射,采集任务修改,任务权限设置,采集任务查询,采集任务监控,任务流程监控,任务催办管理,任务日志管理,采集任务查询,数据交换管理,数据交换服务配置,数据交换日志查询,数据交换服务监控,采集方式,在线填报 （浏览器）,离线填报工具,移动设备填报,自动采集 （面向已有
8、系统）,审核公式,指标目录,2.6.2系统核心功能概述,指标管理 系统主要以多分类体系和元数据管理方式，对采集指标进行统一梳理，并形成采集指标目录。 采集表单管理 针对采集表单模板的管理，主要包括采集表单样式设计、指标映射、采集表单分类管理、查询等功能。 数据报表管理 针对数据报表模板的管理，主要包括数据报表样式设计、数据报表类别管理、查询等功能。 采集任务管理 采集任务实现采集业务的具体实现，在采集任务中可以设置采集表单的类型、填报的频度、填报的流程、填报的权限等内容，并将任务下发给相应的采集点。 数据审核加工 提供可视化操作环境，对采集的数据的格式及数据内容进行校验和审核，保证采集的数据质
9、量。 提供可视化操作环境，对采集过来的数据格式和内容，包括对采集数据的增删改查操作。进行规范化处理,2.7在线采集,用户无须下载任何客户端软件，只须具备浏览器和上网条件，即可通过发布在采集平台上的电子表单实现在线填报。,2.8离线采集,无须一定要在线环境下操作，支持离线方式基于本地桌面填报，所有操作与在线效果一致，尤其填写大数据量内容时更方便。,2.9移动数据采集,基于移动设备的信息采集可以分为无线与离线两种模式。即可将移动设备作为单一的数据采集终端，同时也可以在移动设备上定制一些应用，实现初步的数据管理和分析。,2.10图像（OCR）识别技术,OCR光学字符识别，是文字自动输入的一种方法。表
10、单支持基于OCR设备作为数据采集端，特别适用于固定格式调查表以及统计数据等数据源的批量扫描录入，减少人工工作量，提高工作效率。,3.1、农业部金农工程一期,典型应用案例,3.1.1统一农业信息采集系统总体建设目标,针对农业行业各信息采集渠道，进行统筹规划，通过采用统一采集软件、统一指标管理的办法，建立统一的农业信息采集系统，为农业系统内各部门提供个性化的农业信息采集服务，达到资源充分利用和信息共享的效果。,统一采集软件,统一指标管理,统一农业信息采集系统,3.1.2系统建设内容,两级平台 已建七个系统 在建九个系统,3.1.3面临的主要挑战,如何方便定制数据采集的表样 如何方便处理结构化和非结
11、构化数据的表样 如何方便的与现有采集数据指标匹配 如何方便的与现有基础平台的集成,3.1.4解决方案,利用开普智能表单平台，提供的可视化定制能力，开发人员可以方便的快速定义所需的表样 基于智能表单可以方便的处理结构化和非结构化数据，同样一份数据在不同的阶段可以做到相互转换，满足不同的功能需要 利用开普表单提供的采集数据指标集成功能，可以动态管理采集指标库，自动生成所需表样，满足了基于指标项的快速定制 开普智能表单提供符合SOA架构、RMI/IIOP、XML等标准的接口，可与现有平台方便的集成,3.1.5金农工程一期应用系统,3.1.6金农工程一期:物价监测信息采集系统,采集任务区,待办任务区,
12、系统消息与提醒,业务催办区,3.1.6金农工程一期:物价监测信息采集系统,在线填报 价格调查报表,3.1.7应用成果,农业部 “金农”工程 应用系统：农业信息采集平台、七个业务采集子系统 表单数量：230 基点用户：20750,3.2、全国高新技术企业认定管理工作网,典型应用案例,3.2.1面临的主要挑战,如何在短时间内快速搭建应用平台。项目从启动到正式上线仅有一个半月的时间，怎么快速搭建应用系统，成为项目成败的关键。 如何应付大用户量的集中访问。系统是面向全国的高新企业，用户群庞大，而且在新的高新技术企业认定管理办法实施之后，各地企业的申报会较为集中。 如何解决申报的电子数据与纸面打印数据一
13、致性的问题。 如何保持数据和应用在后续建设中的继承性。,3.2.2解决方案,选择成熟产品搭建应用系统，保证了项目的按时上线。使用开普智能表单平台，基于成熟产品构建应用，实现了快速高效的应用开发，避免了新建系统的不稳定问题。 使用离线填写功能，很好的均衡了系统负载。项目申报表有近20页，在企业填报时可增加页面，数据量大的企业可达到一百多页，使用离线填写工具很好的解决了大数据量填写的问题。 采用开普智能表单提供的数字水印技术有效解决数据一致性的问题。 系统基于统一的数据标准，保证了数据的继承性。利用开普智能表单强大的数据模型支持能力，有效分离了展现样式和数据，保证了业务变更时系统的延续性。,3.2.3高新技术企业认定离线填写工具,3.2.3高新技术企业认定离线填写工具,3.2.4应用成果,科技部 全国高新技术企业认定管理工作网 2008年6月项目启动 2008年8月5日系统正式上线 截至2008年底，全国共有30351家企业在网上进行了注册，其中15547家企业通过高企认定评审 截止目前，系统持续稳定运行，并完成了两次年度高企认定评审工作，,谢谢！,