系统集成论坛

标题: sota系统构架及目录说明(章节：2.3-2.4) [打印本页]

作者: dbazghyy03 时间: 2013-9-11 17:55
标题: sota系统构架及目录说明(章节：2.3-2.4)
Sota系统构架

Bus    ：总线模块
Planner ：作业管理和调度模块
Sucker  ：日志抽取模块
Parser  ：交易分析模块
Loader ：交易装载模块
　　　沃信数据同步工具不需要在生产系统和备份系统上安装任何程序，只需要一个具有操作相应数据权限的数据库连接即可正常工作，不会影响生产系统和备份系统的可用性，只与生产系统和备份系统保留必须的交互，对生产系统的性能影响也非常小。
　　　沃信数据同步工具的抽取组件从源数据库的联机日志（Online Log）和归档日志（Archive Log）中捕获数据库日志（Redo Log）记录，再通过分析组件对获取的Redo Log进行分析，获取完整的交易记录和针对每个数据库表操作的SQL语句，然后通过装载组件在目标数据库中执行该SQL语句，同步数据库变更。
oBus
oBus是用于存取数据，把数据信息在各个模块里进行交换，减少各个模块的拓朴结构构成星型拓朴。oBus位于星型拓朴结构的中心，其他各个模块在它的周围，它们是通过oBus进行信息传递而不是它们之间相互传递。oBus没有配置文件，它使用默认的配置文件，使用默认的端口号为6379。
Planner
Planner对应的模块名称为oPlanner.
oPlanner根据定义的作业内容来控制和调度Sucker/Parser/Loader各个进程。
　　oPlanner的作用：
管理作业
控制license
控制组件
调度组件
管理作业包括创建作业，更改作业，删除作业，启动作业，关闭作业。
Sucker
　　oSucker程序以尽可能快的方式来读取源端oracle数据库日志文件内容，包含DDL和DML的日志。
Parser
　　oParser 组件是分析数据程序，它是被oSucker程序驱动的。oParser也是按照批次来运行程序。oParser根据对表操作的交易作为一个事务把它从oSucker提取出来的日志信息进行分析，分析后的数据操作再分成两部分：提交事务和未提交事务。
　　提交的事务经分析程序后保存到相对应表的索引文件中。
Loader
oLoader组件是用于从对源数据库的操作装载到目标数据库下。OLoader组件由planner驱动。
目录说明
Sota目录
目录文件名文件说明
sota/bin oSucker
oParser
oLoader
oPlanner
oLic
sotaCC oSucker是sota系统的抽取数据日志程序
oParser是sota系统的分析数据程序
oLoader是数据装载同步迁移程序
oPlanner是管理和调度oSucker/oParser/Loader的程序，oLic是使用sota系统的认证程序
sotaCC是字符界面管理sota系统程序
sota/conf oPlanner.cfg

License.dat oPlanner.cfg文件是关于配置sota系统服务端的IP和端口信息及工作路径。
License.dat文件无须配置是运行oLic程序后自动产生，决定使用者使用该SOTA系统的程度和时间。
sota/lib ReadMe 说明文件
sota/run JobList.xml

JobLoadFilter.xml JobList.xml 文件是关于作业信息的文件，在该文件中可以通过添加作业名来实现创建作业，删除作业名来实现删除作业操作，更改作业名来完成更改作业操作。 JobLoadFilter.xml是作业装载同步配置文件。
sota/log oPlanner.log

oPlanner.log.old 各有5M的空间用来存放运行程序日志文件，当oPlanner.log存满了之后，就将oPlanner.log的内容转到oPlanner.log.old中，继续存放新文件。
sotaData目录
sotaData文件可以供用户放多个作业（SOTA将数据从源库同步到目的库的过程抽象为一个作业），用来动态的存放数据文件。将它指向其他的磁盘阵列时，它可以不消耗本地资源。
目录文件名文件说明
sotaData/作业名/batData
sotaData/作业名/conf E_Config.xml
Filter.xml
P_Config.xml
L_Config_**.xml 存放作业的相关配置信息
sotaData/作业名/err 存放的是出错误或着装载失败的信息
sotaData/作业名/idxData 存放Tabsum的信息
sotaData/作业名/log 存放oSucker/oParser/Loader运行的日志信息
sotaData/作业名/metaData 存放表结构信息
sotaData/作业名/rowData
sotaData/作业名/run 存放运行之中产生的文件（如断点信息等）
sotaData/作业名/txnData 存放tabLoad_XX(备库)的信息

欢迎光临系统集成论坛 (http://bbs.xtjc.com/)