【每日一博】实现MysqlMaster-Master高可用_MySQL

两个Master(主备模式)，一个或多个Slave(也可以没有Slave，只有主备Master)：

1、Monitor运行MMM Daemon程序，实现所有Mysql服务器的监控和故障切换工作；

2、Master1和Master2互为主备，同时只有一个主可用于写操作(也可同时分担读操作)，另一个作为备用，可以分担读操作，读写分离需要应用程序实现；

3、Slave机器与当前active Master同步，如当前active Master故障后，Master将切换到passive Master，同时MMM修改Slave与新的Master同步；

4、Application通过write和read ip进行读写操作；

环境：

软件信息：

Mysql：5.6.17-log MySQL Community Server (GPL)

MMM：mysql-mmm-2.2.1

OS：CentOS release 6.4 (Final)，kernel 2.6.32-358.el6.x86_64

一、配置复制环境

这里是全新配置，如果是已经存在了单master和slave环境，将配置不一样，可以结合xtrabackup工具实现数据的备份和恢复，配置主备master环境。

前提要求：

1、所有mysql实例开启read_only=1；

2、主备master需要开启log_bin；

3、所有mysql实例配置不同的server_id以及不同的二进制日志、relay日志文件名；

参考配置参数：

mysql01的特殊配置参数：

mysql02的特殊配置参数：

mysql03的特殊配置参数：

配置主从：

1、配置mysql01和mysql02互为主从：

在mysql01和mysql02上创建同样的复制账号：

查看master状态：

在每个节点执行CHANGE MASTER TO语句：

在两个节点开启slave：

查看slave状态是否正常：

2、配置mysql03为mysql01的从服务器

验证slave状态正常后，开始下面的步骤。

二、配置半同步

使用半同步机制，可以确保至少一台slave收到master的二进制日志，在一定程度上保证了数据的一致性，减少了当master当机时，造成数据丢失。

半同步机制由google贡献，从mysql 5.5开始原生支持该特性。

前提要求：

1、主备master都要安装并开启semisync master和slave，因mmm不能进行semisync配置和管理；

2、slave需要安装并开启semisync slave；

配置步骤：

1、mysql01和mysql02安装semisync master和slave插件：

2、mysql01和mysql02开启semisync master和slave：

同时将参数写入到配置文件，以mysql实例开启时自动开启半同步：

3、mysql03安装并开启semisync slave插件：

同时将参数写入到配置文件，以mysql实例开启时自动开启半同步：

4、所有mysql实例停止slave并开启slave，使半同步机制生效：

5、查看semisync状态

三、配置MMM

Multi Master Replication Manager for Mysql(MMM)是一套开源的perl脚本，对Mysql Master-Master复制环境(在任何时刻只有一个节点可写)进行监控、故障恢复以及管理。同时能根据复制的延时情况管理读负载均衡，通过迁移read虚拟IP地址。同时也能用于数据备份，以及节点之间重同步。

主要由三个脚本组成：

1、mmm_mod：监控daemon程序，进行监控工作，并决定读、写角色的迁移；最好运行在专用的监控服务器上，可以管理多套Master-Slave集群。

2、mmm_agentd：客户端daemon程序，运行在所有mysql实例服务器，与监控节点进行简单的远程通信。

3、mmm_control：用于管理mmm_mond进程的命令行脚本。

前提需求：

1、支持环境：

两个节点的Master-Master环境，MMM需要5个IP地址(每个节点一个固定IP地址，一个write IP地址，两个read IP地址，write和read IP依据节点的可用性进行自动的迁移)，正常情况下，active master有一个write IP和一个read IP地址，standby master有一个read IP地址，如果当前active master故障，write和read IP地址将迁移到standby master；

两个节点的Master-Master，以及一个或多个slave的环境，同时也是大多数企业使用的方案(可以更好的扩展读，同时有冗余的Slave可用于备份等工作，防止阻塞正常的事务)。

2、n+1个主机：n个运行mysql实例的服务器，一个机器用于运行MMM监控daemon程序；

3、2*(n+1) IP地址：每个主机一个固定IP地址，同时每台mysql实例一个read IP地址以及一个write IP地址；

4、monitor数据库用户：需要REPLICATION CLIENT权限，用于MMM监控(mmm_mond)；

5、agent数据库用户：需要SUPER、REPLICATION CLIENT、PROCESS权限，用于MMM 客户端(mmm_agentd)，可以只针对本机IP进行授权；

6、relication数据库用户：需要REPLICATION SLAVE权限，用于mysql复制；

7、tools数据库用户：需要SUPER、REPLICATION CLIENT、RELOAD权限，用于MMM tools(如mmm_backup、mmm_clone、mmm_restore)

1、在mysql实例服务器安装依赖包和mmm

安装依赖包：

如果在标准软件仓库和EPEL软件仓库没有，需要单独下载，可以去以下网址下载：

http://rpm.pbone.net

http://search.cpan.org/

http://www.rpmfind.net/

安装mmm：

2、在mysql实例服务器配置mmm agent

mmm_agentd使用mmm_agent.conf配置文件：

公用配置文件：mmm_common.conf，每个实例一样，并要拷贝到监控服务器供mmm_mond使用，进行网卡接口的定义，每个主机的描述，复制和mmm agent的用户名和密码配置，以及读写规则等

3、启动mmm agent服务

4、在监控服务器(mysql04)安装依赖包和mmm

安装依赖包：

安装mmm：

5、配置mmm 监控配置文件

mmm_mond和mmm_control使用mmm_mon.conf或mmm_mon_CLUSTER.conf配置文件

mmm_mon.conf配置文件参考：

6、开启mmm monitor监控

7、使用mmm_control查看状态

注：

当节点第一次开启，状态为等待恢复。

设置节点online：

MMM如何工作：

当故障发生时，mmm迅速的迁移故障节点的IP地址从一个节点到另一个节点，并使用Net::ARP Perl模块更新ARP表。

处理过程：

在故障active master节点：

1、mysql 设置为read_only(set global read_only=1)，防止写事务；

2、中断活动连接；

3、移除写ip；

在新master节点：

1、运行在passive master的mmm进程被通知即将成为active write；

2、slave将尝试从master的二进制日志抓取任何剩余事务；

3、关闭read_only(set global read_only=0)；

4、绑定write ip，并发生arp通告；

四、测试

1、测试mysql01 mysql实例故障

手动关闭mysql01服务器上的mysql实例，期望master将迁移到mysql02

停止mysql01的mysqld进程：也可以使用"killall -15 mysqld"结束mysqld进程

查看mmm_mond的日志：总共经过10s时间完成迁移

使用mmm_control命令查看状态：

检查mysql02的read_only变量是否改变：

检查mysql03是否已经将mysql02作为主：

当再次启动mysql01的mysql实例，db1的状态将由HARD_OFFLINE改变为AWAITING_RECOVERY：

需要手动设置为online，mmm才会分配read ip给mysql01，并与mysql02同步：

查看mysql02的semisync状态：

2、模拟mysql02(Active Master服务器) kernel panic，期望进行迁移

执行上面的测试后，当前active master为mysql02，使用下面命令模拟kernel panic：

查看mmm_mond日志：总共经过了20s的时间完成迁移

使用mmm_control查看状态：

3、模拟active master服务器网络不通，期望进行迁移，但是网络恢复后，将不会重启slave；

当前active master为mysql01，在mysql01上禁用网卡：

查看mmm_mond日志：总共经过了9s完成迁移

使用mmm_control查看状态：

当网络恢复后，mmm会修改mysql01的slave配置，修改主为mysql02，但是没有重启slave，造成不能进行数据同步，需要手工重新开启slave。

使用mmm_control检查状态：

检查mysql01的slave状态：看上去正常的

但是在mysql02(当前active master)插入数据，mysql01不能从mysql02同步：

mysql03已经同步了数据：

而mysql01没有同步数据：

解决方法：先停止slave，然后启动slave；

截图：

4、模拟slave线程故障，不管是io或sql线程故障，期望进行迁移，恢复时如果在flap_duration时间内超过了flap_count次数的故障，将不会自动恢复，状态由REPLICATION_FAIL改为 AWAITING_RECOVERY (because it's flapping)

当前active master为mysql02。

停止active master(mysql02)的slave，不会造成迁移：

mmm_mond的日志：已经检测到db2(mysql02)复制线程错误

2014/05/27 15:39:02 ERROR Check 'rep_threads' on 'db2' has failed for 10 seconds! Message: ERROR: Replication is broken

使用mmm_control查看状态：

如果当其他slave(mysql01、mysql03)的线程(不管是io还是sql线程)故障将会发生迁移：

手工停止io线程：

查看mmm_mond日志：

使用mmm_control查看状态：

当重新开启io线程后，mmm将自动恢复db1，并重新迁移read IP到db1(mysql01)上，如果故障超过：

重新开启线程：

查看mmm_mond日志：

使用mmm_control查看状态：

5、复制延时

延时检查有max_backlog控制，默认为60；

复制延时或错误，如果故障时间少于60s，状态为ONLINE，单会迁移，故障恢复后，mmm自动恢复read IP。如果rep_backlog和rel_threads同时错误，状态将为REPLICATION_FAIL。

6、mmm agent或monitor故障

不会迁移角色，如果此时有master或slave故障，也将不能迁移角色

参考：

MMM官网：http://mysql-mmm.org/

MMM博客：http://blog.mysql-mmm.org/

来自为知笔记(Wiz)