归档系统的的核心技术

午夜游民

济钢自动化部经过大量的考察交流、技术论证，决定联手HP公司实施ERP归档系统，对济钢 ERP系统进行瘦身，实现历史数据与业务数据的分离，减轻业务系统压力，提高业务系统各方面的性能。

归档系统的核心技术是透明访问技术，其技术主要解决如何同时访问在线数据库及归档后的历史数据库的问题，用户访问数据将不受到任何影响。

经过分析，济钢ERP系统数据库中库存、成本管理、生产、销售四个模块数据量非常大，占总体数据大小的 52.43%，其中库存最大， 约占总体数据的34%，成本管理占8%，WIP占7%，销售模块占3%（如图2）。这四个模块历史数据占比较高，同时这些模块的操作频率高，数据及时性要求高。因此，数据归档系统的实施范围主要集中在库存、成本管理、生产、销售这四个模块。

济钢用Oracle的数据库。数据归档系统HP RIM for Oracle EBS（Oracle 电子商务套件）的实施步骤是：首先，结合业务情况和系统负载，与库存、成本、WIP及销售业务相关人员讨论，根据业务发展情况、数据期间跨度和使用频率等条件，确定在线数据保留期限；然后，进入归档测试阶段，也是整个项目的关键阶段。在这一阶段，我们在搭建的归档专用测试环境中进行了归档工作流程的整体测试，记录了归档前后在线数据库与归档历史数据库的变化，确认了归档程序的有效性及稳定性。

测试的过程整体来说比较顺利，但也出现了问题，主要集中在由于数据填写不规范、不完整，导致无法实现系统归档等方面。例如，在系统上线初期，数据录入者对一些必填项和可填项的把握不够准确，导致数据不规范，从而影响了归档测试。经过查询、修改、完善之后，数据规范问题得以解决。另外还有一些限制条件，会影响归档操作，以生产制造模块为例，只有在库存归档、成本更新历史归档、生产工单关闭之后，生产制造模块才能做数据归档。

进行了系统功能测试、系统压力测试及相关报表系统的运行测试，确认归档程序可靠后，我们又进一步进行了重装（Reload）测试，确保归档过程的可逆性。经过全面测试，HP RIM for Oracle EBS安全可靠，我们在ERP正式环境进行了最终的归档操作，并形成了正式的归档记录文档。

HP RIM归档系统针对Oracle EBS的特点，利用标准清除功能，通过Oracle EBS的并发请求提交归档任务，控制台统一管理收集将要归档的数据信息，先将所要归档的数据移动到归档表空间保存成XML格式或集成 WORM存储，然后再删除EBS中的归档记录，完成一次归档过程。HP RIM通过将不活跃的数据迁移到次级数据库，保持了本地应用对该数据的透明访问。归档过程可在线实施，从用户的角度来看，同时访问历史数据与在线数据不会受到任何影响，业务用户使用系统也不受干扰。

用户可通过Archive Monitor（数据增长监控和策略管理控制台），检测应用数据增长和程序性能，对每一个归档请求进行即时监控，控制归档进度，处理可能出现的问题。

数据库规模减半 时间减半

实施了首次数据库归档后，在符合数据保留法规的要求的同时，ERP系统的总体数据库大小大约减少了一半，从而降低了服务器和存储基础设施的成本、数据库调优的支出以及系统维护成本，提高了投资回报率。通过改善应用效率和把不活跃的数据搬迁，大大节省数据库的空间，有效提高系统的性能，最大限度地降低系统的关键灾难恢复时间和升级（软件和硬件）宕机时间，同时减轻相关的管理和维护负担。

以生产制造模块为例，HP RIM 系统将使用率低的历史数据迁移出在线数据库后，明显增加了ERP在线系统的运行能力和稳定度，并且保证了数据完整性。用户使用相关报表时，程序运行效率大大提高，等待时间也缩短很多。经过综合测试，以查询一个较大的报表为例，归档前需要半小时以上才能运行完成，现在10分钟内即可展示结果。另外，现在每月月初，各业务单位几乎同时使用系统进行数据结算时，程序运行效率的提高更是显而易见。以生产部门为例，原来一天要对几十万个批次的生产数据的属性、数量进行分类、汇总，要耗整整一天时间，而现在只需要9个小时。

另外，通过归档，在线数据库数据表的记录数大量减少， 对应的数据表的索引、数据存储所需的空间也大大减少，提高了系统的综合性能。

数据归档是一项需要长期进行的工作，因为每天都会产生新的历史数据。因此，我们需要不断完善归档策略，把握归档进度，加强对数据系统管理的能力，来保障系统运行的稳定性、高效性。

zzasdsun

看看 顶楼主的 谁谁谁谁...........