系统集成论坛

标题: sota系统构架及目录说明(章节:2.3-2.4) [打印本页]

作者: dbazghyy03    时间: 2013-9-11 17:55
标题: sota系统构架及目录说明(章节:2.3-2.4)
Sota系统构架
       
Bus     :总线模块  
Planner :作业管理和调度模块        
Sucker  :日志抽取模块
Parser  : 交易分析模块
Loader : 交易装载模块
   沃信数据同步工具不需要在生产系统和备份系统上安装任何程序,只需要一个具有操作相应数据权限的数据库连接即可正常工作,不会影响生产系统和备份系统的可用性,只与生产系统和备份系统保留必须的交互,对生产系统的性能影响也非常小。
   沃信数据同步工具的抽取组件从源数据库的联机日志(Online Log)和归档日志(Archive Log)中捕获数据库日志(Redo Log)记录,再通过分析组件对获取的Redo Log进行分析,获取完整的交易记录和针对每个数据库表操作的SQL语句,然后通过装载组件在目标数据库中执行该SQL语句,同步数据库变更。
oBus
oBus是用于存取数据,把数据信息在各个模块里进行交换,减少各个模块的拓朴结构构成星型拓朴。oBus位于星型拓朴结构的中心,其他各个模块在它的周围,它们是通过oBus进行信息传递而不是它们之间相互传递。oBus没有配置文件,它使用默认的配置文件,使用默认的端口号为6379。
Planner
Planner对应的模块名称为oPlanner.
        oPlanner根据定义的作业内容来控制和调度Sucker/Parser/Loader各个进程。
  oPlanner的作用:
管理作业
控制license
控制组件
调度组件
管理作业包括创建作业,更改作业,删除作业,启动作业,关闭作业。
Sucker
  oSucker程序以尽可能快的方式来读取源端oracle数据库日志文件内容,包含DDL和DML的日志。
Parser
  oParser 组件是分析数据程序,它是被oSucker程序驱动的。oParser也是按照批次来运行程序。oParser根据对表操作的交易作为一个事务把它从oSucker提取出来的日志信息进行分析,分析后的数据操作再分成两部分:提交事务和未提交事务。
  提交的事务经分析程序后保存到相对应表的索引文件中。
Loader
oLoader组件是用于从对源数据库的操作装载到目标数据库下。OLoader组件由planner驱动。
目录说明
Sota目录
目录        文件名        文件说明
sota/bin        oSucker
oParser
oLoader
oPlanner
oLic
sotaCC        oSucker是sota系统的抽取数据日志程序
oParser是sota系统的分析数据程序
oLoader是数据装载同步迁移程序
oPlanner是管理和调度oSucker/oParser/Loader的程序,oLic是使用sota系统的认证程序
sotaCC是字符界面管理sota系统程序
sota/conf        oPlanner.cfg

License.dat        oPlanner.cfg文件是关于配置sota系统服务端的IP和端口信息及工作路径。
License.dat文件无须配置是运行oLic程序后自动产生,决定使用者使用该SOTA系统的程度和时间。
sota/lib        ReadMe        说明文件
sota/run        JobList.xml


JobLoadFilter.xml        JobList.xml 文件是关于作业信息的文件,在该文件中可以通过添加作业名来实现创建作业,删除作业名来实现删除作业操作,更改作业名来完成更改作业操作。 JobLoadFilter.xml是作业装载同步配置文件。
sota/log        oPlanner.log

oPlanner.log.old        各有5M的空间用来存放运行程序日志文件,当oPlanner.log存满了之后,就将oPlanner.log的内容转到oPlanner.log.old中,继续存放新文件。
sotaData目录
sotaData文件可以供用户放多个作业(SOTA将数据从源库同步到目的库的过程抽象为一个作业),用来动态的存放数据文件。将它指向其他的磁盘阵列时 ,它可以不消耗本地资源。
目录        文件名        文件说明
sotaData/作业名/batData               
sotaData/作业名/conf        E_Config.xml
Filter.xml
P_Config.xml
L_Config_**.xml        存放作业的相关配置信息
sotaData/作业名/err                存放的是出错误或着装载失败的信息
sotaData/作业名/idxData                存放Tabsum的信息
sotaData/作业名/log                存放oSucker/oParser/Loader运行的日志信息
sotaData/作业名/metaData                存放表结构信息
sotaData/作业名/rowData               
sotaData/作业名/run                存放运行之中产生的文件(如断点信息等)
sotaData/作业名/txnData                存放tabLoad_XX(备库)的信息




欢迎光临 系统集成论坛 (http://bbs.xtjc.com/) Powered by Discuz! X3.1