MySQL pt-table-checksum及pt-table-sync校验及修复主从一致性

【pt-table-sync】
pt-table-sync，顾名思义，它用来修复多个实例之间数据的不一致。它可以让主从的数据修复到最终一致，也可以使通过应用双写或多写的多个不相关的数据库实例修复到一致。同时它还内部集成了pt-table-checksum的校验功能，可以一边校验一边修复，也可以基于pt-table-checksum的计算结果来进行修复。

• 校验（Master服务器运行）

pt-table-checksum --nocheck-binlog-format --nocheck-plan --nocheck-replication-filters --replicate=pt.checksums --set-vars innodb_lock_wait_timeout=120 --databases newtable -u‘checksums‘ -p‘checksums‘ -h10.1.1.6

#-h -u -p -P -S -d 连接信息
#--nocheck-replication-filters 检测中忽略mysql 配置参数binlog_ignore_db等。
#--nocheck-binlog-format 不检测日志格式
#--replicate 指定checksum 存储的db和表， 如test.checksum
# --chunk-size， --chunk-size-limit 用于指定检测块的大小。 可控性更强
# --ignore-databases/tables/column 跳出指定元素的过滤
# --lock-wait-timeout innodb 锁的超时设定， 默认为1
# --max-load 设置最大并发连接数
# --replicate-check-only 只输出数据不一致的信息。
# --help 有这个就行了， 以及其他的详见文档。

备注：--no-check-binlog-format 忽略检查binlog格式，否则会报错，默认会去检查statement模式，一般我们都用row模式

TS ：完成检查的时间。
ERRORS ：检查时候发生错误和警告的数量。
DIFFS ：0表示一致，1表示不一致。当指定--no-replicate-check时，会一直为0，当指定--replicate-check-only会显示不同的信息。
ROWS ：表的行数。
CHUNKS ：被划分到表中的块的数目。
SKIPPED ：由于错误或警告或过大，则跳过块的数目。
TIME ：执行的时间。
TABLE ：被检查的表名。

备注：主要观察DIFFS列，标识差异数。

• 查看差异（Slave库运行） 

select db, tbl, sum(this_cnt) as total_rows, count(*) as chunks  
 from checksums 
where ( master_cnt <> this_cnt OR master_crc <> this_crc OR isnull(master_crc) <> isnull(this_crc) )
 group by db, tbl; 

• 复制，消除差异（Master服务器运行）

假设newtables数据库tb1表存在差异

i.自动消除差异（不推荐）
pt-table-sync --print --execute --sync-to-master h=10.1.1.7,P=3306,u=checksums,p=‘checksums‘ --databases=newtables --tables=tb1

ii.打印出sql语句，人工干预到Slave库执行（推荐）
pt-table-sync --print --sync-to-master h=10.1.1.7,P=3306,u=checksums,p=‘checksums‘ --databases=newtables --tables=tb1
pt-table-sync --print --sync-to-master h=10.1.1.7,P=3306,u=checksums,p=‘checksums‘--replicate pt.checksums

#--sync-to-master ：指定一个DSN，即从的IP，他会通过show processlist或show slave status 去自动的找主。
#--replicate ：指定通过pt-table-checksum得到的表，这2个工具差不多都会一直用。
#--print ：打印，但不执行命令。
#--execute ：执行命令。

　　备注：Slave需要授权主库Drop 和Create Temporary Tables权限

• 检验

      重新执行一次pt-table-checksum，查看是否还存在差异。

MySQL pt-table-checksum及pt-table-sync校验及修复主从一致性

标签：语句   replicat   指定元素   test   负载   diff   数据库   family   技术