产品简介
Product introduction
数据迁移的基本步骤就是Extract,Transfer,Load(ETL)。本工具就是帮助用户直观快速定义ETL规则,支持脚本的编辑、运行及调试。支持同构,异构系统的ETL,开放平台到开放平台、开放平台到主机平台、主机平台到开放平台、主机平台到主机平台,支持码制转换(U码-E码)产品支持的平台有windows,linux,aix,mainfram等从源模型迁移到目标模型,从全量数据到增量数据,只需要通过配置和定义相应ETL规则,轻松实现数据的转换和迁移。
产品功能
Product Features
1.参数配置模块 高阳数据迁移工具支持高度灵活的参数配置。 用户填写完成参数配置excel文件。程序读取该参数配置excle文件,生成数据抽取脚本,字段配置信息及表分区信息文件,供下游使用。 2.SQL生成工具模块 SQL生成工具读取参数配置文件当中的内容,根据配置好的参数自动计算生成数据导出模块所需要的数据抽取SQL文件和转码配置文件,并对生成过程中可能出现的异常进行处理。SQL生成工具支持在windows或linux环境下执行。 3.数据导出模块 数据装载程序面向SQL语句进行数据库数据的导出,前端根据自动装配生成的sql和配置文件以后,人工可以检查和修改SQL,使其符合新系统数据入库的要求,有复杂的SQL的和SQL不好实现的业务,可以通过外挂程序实现自动生成SHELL脚本以后,启动生成数据文件,并生成数据文件完成标志。 | |
4.FTP传输模块 FTP数据传输模块根据数据导出模块生成的数据准备完成标识,自动识别需要传输至主机的数据文件,自动调用传输进程对数据进行传输,并自动记录过程日志。 由控制守护进程对数据存储路径进行定时轮询,自动寻找并识别等待传输的数据文件,为每一个数据文件启动一个独立的传输进程进行数据传输,并自动记录日志。 每一个独立的传输进程生成其单独的日志文件,记录传输过程。 使用配置文件管理传输进程上限,避免资源耗尽。配置文件主要对FTP传输过程中所需的各项参数进行配置和记录,配置内容包括数据文件存放路径、数据文件轮询时间间隔、FTP传输并发量上限、FTP传输进程数量统计时间间隔、FTP目标IP地址、FTP用户名、FTP密码、FTP目标路径。 | |
5.数据加载模块 自动装载过程由vba脚本自动生成单任务脚本,由人工上传至服务器环境后,再由控制守护进程对单任务脚本进行调度,依托迁移接口的映射配置文档(excel文档),通过vba脚本收集接口结构,生成装载脚本(针对Aix/Unix/Linux的shell脚本,以及针对主机的JCL脚本)。脚本将在探测到数据导出模块生成的.ok标识文件之后自动调起传输相应的数据文件至目标主机。 6.迁移一致性检核模块 数据完成装载后,需要对目标系统和源系统数据进行校验比对,以确保数据的正确性和抽取是否成功。 高阳的数据迁移工具提供对表各字段取值的合法性,如:字段非空,字段非法字符,日期,时间字段格式,字段正常取值,字段长度等检查,还可以针对维度进行统计,金额统计等校验等。迁移一致性检核模块提供数据检核配置表EXCEL文档,用户根据所需配置项进行配置所需要检核的内容。 | |
产品价值
Product value
高阳的数据迁移工具是专门针对银行业务系统而定制的工具,针对银行业的信息特点,内置了多个项目积累下来的银行业映射规则类型,如金额类、日期类、标准代码值类。特别适合银行中大型项目的数据迁移。