mysql5.5 物理删除binlog文件导致的故障

检查错误日志文件，日志如下，提示在S1上找不到master上的binlog文件

160408 12:25:40 [Note] Slave I/O thread: connected to master ‘rep_user@10.3.171.40:3306‘,replication started in log ‘centos-bin.000002‘ at position 107
160408 12:25:40 [ERROR] Error reading packet from server: File ‘/data2/mysql/centos-bin.000002‘ not found (Errcode: 2) ( server_errno=29)
160408 12:25:40 [Note] Slave I/O thread: Failed reading log event, reconnecting to retry, log ‘centos-bin.000002‘ at postion 107
160408 12:25:40 [ERROR] Error reading packet from server: File ‘/data2/mysql/centos-bin.000002‘ not found (Errcode: 2) ( server_errno=29)
160408 12:26:40 [Note] Slave I/O thread: Failed reading log event, reconnecting to retry, log ‘centos-bin.000002‘ at postion 107
160408 12:26:40 [ERROR] Error reading packet from server: File ‘/data2/mysql/centos-bin.000002‘ not found (Errcode: 2) ( server_errno=29)

到S1上去检查，show master status;show master logs可以看到业务数据在写入，POS位置也一直在改变，这里奇怪的是00001文件的大小是0

mysql> show master logs;
+-------------------+-----------+
| Log_name          | File_size |
+-------------------+-----------+
| centos-bin.000001 |         0 |
| centos-bin.000002 | 568661746 |
+-------------------+-----------+
2 rows in set (0.00 sec)

mysql> show master logs;
+-------------------+-----------+
| Log_name          | File_size |
+-------------------+-----------+
| centos-bin.000001 |         0 |
| centos-bin.000002 | 568941034 |
+-------------------+-----------+
2 rows in set (0.00 sec)

mysql> show master logs;
+-------------------+-----------+
| Log_name          | File_size |
+-------------------+-----------+
| centos-bin.000001 |         0 |
| centos-bin.000002 | 569017617 |
+-------------------+-----------+
2 rows in set (0.00 sec)

到data目录查看，却没有找到这2个文件。复制提示也是找不到文件

到这里奇特的现象是：业务正常写数据库，show master status也可以看到有pos位置变化，但是磁盘上没有文件，复制无法建立

[root@GZ_NS_M5_SYNC_mysql_sync1-standby_171.40 ~]# find / -name centos-bin.000002
[root@GZ_NS_M5_SYNC_mysql_sync1-standby_171.40 ~]# 

#故障重现

1）正常启动实例，开启binlog，配置复制环境

2）rm 把主库的binlog.index.binlog.0000X删除

3）继续写入数据，pos位置变化

4）从库报错，找不到binlog文件

#为什么会出现这样的情况

回想起来这个故障，应该和故障重现的过程是一样的，这套集群3,4个月前搭起来的，在复制正常后，standby的binlog相关文件被删除了，其实删除的整个目录，这个目录专门用来存binlog,relaylog的。删除后搭建复制的时候做change master to，把relay log重建了，但是binlog没有。今天发生了MHA切换，standby变成了master,接受数据写入。MHA里面的filename,pos是连到standby做show master status得到的，但是这些文件已经被删除。所以复制出错。

#继续做实验

1）生成binlog.0001后，把binlog.index,binlog.00001都rm后，数据写入，pos逐步变大，当超过1G大小做文件切换，会发生什么？

答：当1写满后做切换，binlog.index没有，拿不到最大的文件ID，那就又从1开始。结论：一直写00001文件

2）留下index文件，把00001删除，继续写入，超过1G大小会怎么样？

答：会生成00002文件，这个文件是落地磁盘的正常的binlog文件。

#今天出现的故障，如何把events拿出来？

测试下来，如果是statement的，可以通过show master events in xxxx，得到binlog的命令。如果是row格式的，拿不到具体的SQL命令。

mysql5.5 物理删除binlog文件导致的故障

标签：