《济钢用数据归档瘦身ERP系统.doc》由会员分享，可在线阅读，更多相关《济钢用数据归档瘦身ERP系统.doc（6页珍藏版）》请在三一文库上搜索。
1、济钢用数据归档瘦身 ERP系统从 2004 年济南钢铁集团有限公司 （以下简称济钢 ）的ERP系统上线到现在系统数据平均以每月 13GB的速度迅猛 增长，已由上线初期的46GB增至760GB。虽然我们已经进行 了多次的系统调优、 软硬件升级 ,在短时间内、 一定程度上提 升了系统性能 ,但长期来看 ,数据量的迅猛增长将始终影响系 统的运行效率 ,必须予以解决。350GB 的历史数据济钢作为山东省最大的钢铁制造企业和中国最大的板 材制造及出口基地 ,近 10年来,一直在大力推进信息化建设 , 陆续建设了公司内部骨干网络、 OA、ERP、BI 等核心应用信 息系统。目前,ERP系统已成为济钢不可或
2、缺的管理工具。但随着 ERP的深化应用，问题也逐渐产生一一数据量的急速增长，极 大地制约着信息系统的深化应用。 随着时间的推移 ,系统压力 越来越大 ,仅仅增加硬件投资 ,无法从根本上解决问题 ,只会让 ERP系统成为一个烧钱的无底洞。截至2010年4月，济钢ERP系统的数据已增长到 760GB。 经过系统分析，我们发现济钢ERP数据库现有的760GB的数 据中,接近一半的数据为历史数据 ,访问频率非常低。 近 350GB 的历史数据，对现有ERP系统性能造成了严重影响，特别是对 数据量大、交互性非常强的库存、成本管理、生产、销售四 个模块。以生产制造模块（WIP）为例,济钢ERP系统生产制造
3、模块 上线运行至今已有 6 年时间 ,随着集团公司规模的不断扩大 以及信息系统不断深入应用 ,其实施范围已经覆盖炼钢、 板材、 热轧厂、冷轧厂等所有主体生产厂 ,业务数据已涵盖计划编制、 工单下达、产线管理、成品库存、物资调拨等各项流程。自上线以来 ,系统内共下达了 60 多万条生产工单。现在 , 济钢每月大约产生业务数据100 余万条 ,产生批次信息 60 余万条,与之相关的业务数据达到 2 亿条以上。急剧增长的数据 给系统的运行和信息检索带来了沉重的负担。经过对数据库的仔细分析 ,我们发现其中 WIP 模块及相 关的库存模块数据有接近一半的数据为可归档数据。这些数 据的访问频率非常低 ,导
4、致系统历史数据负载过重 ,系统性能 下降 ,用户查询、统计、分析历史数据时速度相当慢 ,系统稳 定性也得不到保证。透明归档分离历史与业务数据为从根本上解决这一问题 ,济钢自动化部经过大量的考 察交流、技术论证，决定联手HP公司实施ERP归档系统，对济 钢ERP系统进行瘦身，实现历史数据与业务数据的分离 ，减轻 业务系统压力 ,提高业务系统各方面的性能。归档系统的核心技术是透明访问技术,其技术主要解决如何同时访问在线数据库及归档后的历史数据库的问题,用户访问数据将不受到任何影响,其原理如图 1 所示。经过分析,济钢ERP系统数据库中库存、成本管理、生产、 销售四个模块数据量非常大 ,占总体数据大
5、小的52.43%,其中库存最大，约占总体数据的34%成本管理占8%,WIP占7%, 销售模块占 3%（如图 2）。这四个模块历史数据占比较高,同时这些模块的操作频率高 ,数据及时性要求高。因此 ,数据归档 系统的实施范围主要集中在库存、成本管理、生产、销售这 四个模块。济钢用Oracle的数据库。数据归档系统 HP RIM for Oracle EBS（Oracle 电子商务套件 ）的实施步骤是 :首先,结合业务情况 和系统负载 ,与库存、成本、 WIP 及销售业务相关人员讨论 , 根据业务发展情况、 数据期间跨度和使用频率等条件 ,确定在 线数据保留期限 ;然后 ,进入归档测试阶段 ,也是整
6、个项目的关 键阶段。 在这一阶段 ,我们在搭建的归档专用测试环境中进行 了归档工作流程的整体测试 ,记录了归档前后在线数据库与归档历史数据库的变化 ,确认了归档程序的有效性及稳定性。测试的过程整体来说比较顺利 ,但也出现了问题 ,主要集 中在由于数据填写不规范、 不完整 ,导致无法实现系统归档等 方面。例如 ,在系统上线初期 ,数据录入者对一些必填项和可 填项的把握不够准确 ,导致数据不规范 ,从而影响了归档测试。 经过查询、修改、完善之后 ,数据规范问题得以解决。另外还 有一些限制条件 ,会影响归档操作 ,以生产制造模块为例 ,只有 在库存归档、 成本更新历史归档、 生产工单关闭之后 ,生产
7、制 造模块才能做数据归档。进行了系统功能测试、系统压力测试及相关报表系统的 运行测试 ,确认归档程序可靠后 ,我们又进一步进行了重装 (Reload)测试，确保归档过程的可逆性。经过全面测试,HP RIMfor Oracle EBS安全可靠，我们在ERP正式环境进行了最终的归 档操作 ,并形成了正式的归档记录文档。HP RIM归档系统针对 Oracle EBS的特点，利用标准清除 功能，通过Oracle EBS的并发请求提交归档任务，控制台统一 管理收集将要归档的数据信息,先将所要归档的数据移动到归档表空间保存成 XML格式或集成 WORM存储，然后再删除 EBS中的归档记录，完成一次归档过程
8、。HP RIM通过将不活跃 的数据迁移到次级数据库 ,保持了本地应用对该数据的透明 访问。归档过程可在线实施 ,从用户的角度来看 ,同时访问历 史数据与在线数据不会受到任何影响 ,业务用户使用系统也不受干扰用户可通过 Archive Monitor（ 数据增长监控和策略管理 控制台 ）, 检测应用数据增长和程序性能 ,对每一个归档请求进 行即时监控 ,控制归档进度 ,处理可能出现的问题。数据库规模减半 时间减半实施了首次数据库归档后 ,在符合数据保留法规的要求 的同时，ERP系统的总体数据库大小大约减少了一半，从而降低了服务器和存储基础设施的成本、数据库调优的支出以及 系统维护成本 ,提高了投
9、资回报率。 通过改善应用效率和把不 活跃的数据搬迁 ,大大节省数据库的空间 ,有效提高系统的性 能,最大限度地降低系统的关键灾难恢复时间和升级（软件和硬件 ）宕机时间 ,同时减轻相关的管理和维护负担。以生产制造模块为例 ,HP RIM 系统将使用率低的历史数 据迁移出在线数据库后，明显增加了 ERP在线系统的运行能 力和稳定度 ,并且保证了数据完整性。用户使用相关报表时 程序运行效率大大提高 ,等待时间也缩短很多。 经过综合测试 以查询一个较大的报表为例 ,归档前需要半小时以上才能运 行完成 , 现在 10 分钟内即可展示结果。另外 , 现在每月月初 , 各业务单位几乎同时使用系统进行数据结算时,程序运行效率的提高更是显而易见。 以生产部门为例 ,原来一天要对几十万个批次的生产数据的属性、 数量进行分类、 汇总 ,要耗整整一天时间 ,而现在只需要 9 个小时。另外 ,通过归档 ,在线数据库数据表的记录数大量减少 , 对应的数据表的索引、 数据存储所需的空间也大大减少 ,提高 了系统的综合性能。数据归档是一项需要长期进行的工作,因为每天都会产生新的历史数据。因此 ,我们需要不断完善归档策略 ,把握归 档进度 ,加强对数据系统管理的能力 ,来保障系统运行的稳定 性、高效性。