#一致性校验
# 前提条件
- 完成校验初始化配置。
# 限制说明
校验启动时,将自动检查校验对象与连接数情况,需满足以下情况:
- YMP将检测,是否存在校验对象,若无校验对象,则判断此次校验无意义,无法启动。
- YMP将计算将当前运行任务占用的连接数 + 创建任务所需连接数与数据源最大支持的连接数判断,若前者大于后者,无法创建任务。
- YMP将计算将创建任务所需连接数与数据源现阶段可以提供的连接数判断,若前者大于后者,无法创建任务。
# 全量校验
Note:
全量校验源端支持MySQL、Oracle、DM、YashanDB数据库;目标端仅支持YashanDB。
进入校验阶段,页面展示如下:
校验完成后,全量校验页面展示如下:
页面主要包含以下几个模块:
基础信息
基础信息包含任务名称,任务类型,源端数据库信息,目标端数据库信息,任务开始时间,在任务完成后显示任务结束时间。
总体情况
- 总体情况包含校验具体概况,将实时显示表总数,一致表总数,不一致表总数,校验失败表总数,跳过表总数及其占比。
- 表不一致类型统计也会实时刷新:
- 源端表不存在或目标表不存在:无法在视图中查询到源端表或目标表
- 数据不一致:源端表与目标端表存在数据行数不一致或主键对应行数据中存在列内容不一致。
- 结构不一致:列数目不一致、没有相同列的主键约束和唯一约束。
- 在任务结束后,将新增显示任务运行时间,任务运行时间仅显示时间,且最小单位为min。当不为整数时,将自动向上取整。还会新增不一致类型分布和性能数据。
- 任务运行日志会在任务执行过程中,保持在指定路径下。任务结束后可以页面实时查看,也可以选择下载日志进行保存,下载的文件为zip包。
- 在任务结束后,可以查看校验报告,校验报告在所有表完成校验后,任务的结尾生成。可通过页面进行实时查看,也可以下载保存,下载的文件为html。
校验详情页面展示如下:
Note:
全量校验需要源端与目标端操作对应的主键约束或唯一约束,当表不存在时,将仅对比数据行数。在校验结果会带有感叹号标识,鼠标移动至感叹号将提示:无主键表只校验源端和目标端行数是否一致。
校验详情
- 详情中记录每一对表的实时状况,包含源端schema名称、源端表名、目标端schema名称、目标端表名、检查结果、不一致类型、检查状态、校验行数、校验时长、结果查看。
- 校验时将实时刷新校验详情列表。固定展示源端schema、源端表、目标端schema、目标端表。其余字段将会在校验的过程中产生。
- 校验结果:一致、不一致、校验失败、跳过(当前不支持的结构会默认跳过)。
- 不一致类型:数据不一致、源端表不存在、目标端表不存在、结构不一致。若校验结果为一致,则该列为空。
- 检查状态:检查状态显示由检验实时进度和状态类型组成。存在待校验、校验中、校验完成、校验异常这四种状态。
- 校验行数与校验时长均在该表校验结束后展示,可以点击图标对列表进行排序。
- 全量校验对表校验结束后,可以对结果进行查看,存在冗余、缺失、差异、非法值、唯一键为NULL这五种不一致类型,除主键不一致外,将展示首列不一致列名。结果页面会展示源端库表名,主键列将展示主键名称。可以下载结果,返回CSV文件;若校验异常,则结果中展示异常具体信息。
存在对应主键约束或唯一约束时,结果展示如图:
不存在对应主键约束或唯一约束时,结果展示如图:
报告展示如图:
任务完成后会自动生成报告,报告生成结束后可以对当前页面的报告信息进行离线展示和下载。
全量校验支持的数据类型及映射关系参见:全量校验数据类型说明。
# 统计校验
Note:
统计校验源端支持MySQL、Oracle、DM、YashanDB数据库;目标端仅支持YashanDB。
进入校验阶段,页面展示如下:
校验完成后,统计校验页面展示如下:
页面主要包含以下几个模块:
基础信息
基础信息包含任务名称,任务类型,源端数据库信息,目标端数据库信息,任务开始时间,在任务完成后显示任务结束时间。
总体情况
- 总体情况包含校验具体概况,将实时显示表总数,一致表总数,不一致表总数,校验失败表总数及其占比。
- 表不一致类型统计也会实时刷新:
- 源端表不存在或目标表不存在:无法在视图中查询到源端表或目标表
- 数据不一致:源端表与目标端表存在数据行数不一致。
- 在任务结束后,将新增显示任务运行时间,任务运行时间仅显示时间,且最小单位为min。当不为整数时,将自动向上取整。
- 任务运行日志会在任务执行过程中,保持在指定路径下。任务结束后可以页面实时查看,也可以选择下载日志进行保存,下载的文件为zip包。
- 在任务结束后,可以查看校验报告,校验报告在所有表完成校验后,任务的结尾生成。可通过页面进行实时查看,也可以下载保存,下载的文件为html。
校验详情
- 详情中记录每一对表的实时状况,包含源端schema名称、源端表名、目标端schema名称、目标端表名、检查结果、不一致类型、检查状态、校验行数、校验时长、结果查看。
- 校验时将实时刷新校验详情列表。固定展示源端schema、源端表、目标端schema、目标端表。其余字段将会在校验的过程中产生。
- 校验结果:一致、不一致、校验失败。
- 不一致类型:数据不一致、源端表不存在、目标端表不存在。若校验结果为一致,则该列为空。
- 检查状态:检查状态显示由检验实时进度和状态类型组成。存在待校验、校验中、校验完成、校验异常、校验终止这五种状态。
- 校验行数与校验时长均在该表校验结束后展示,可以点击图标对列表进行排序。
- 统计校验该对表校验结束后,可以对结果进行查看。
- 若校验结果一致或数据不一致,将展示源端数据行数,目标端数据行数,与校验结果。
- 若表不存在则展示校验结果不一致。
任务完成后会自动生成报告,报告生成结束后可以对当前页面的报告信息进行离线展示和下载。
# 操作
# 上一步
点击【上一步】,返回到校验初始化阶段,此次校验数据将不会保存,点击【下一步:开始一致性校验】将重新进行一致性校验。
# 终止校验
任务处于校验中可以进行终止操作,也可在任务列表的操作栏下点击【终止】。