gfs2分布式文件系统的创建

此次搭建gfs2文件系统是以这篇博文为前提，链接如下 http://blog.csdn.net/wjciayf/article/details/40679289 为了实验过程的清晰，故把示意图再次放在本节作为参考 一：实验环境描述如下 1.在上次试验中已经安装好了这两台虚拟机，如下所示 [root@localhost

此次搭建gfs2文件系统是以这篇博文为前提，链接如下

http://blog.csdn.net/wjciayf/article/details/40679289

为了实验过程的清晰，故把示意图再次放在本节作为参考

一：实验环境描述如下

1.在上次试验中已经安装好了这两台虚拟机，如下所示

[root@localhost ~]# virsh list --all

Id Name State

----------------------------------------------------

- rhel6.4-1 shut off

- rhel6.4-2 shut off

2.把Vmware上的rhel6.4作为管理节点同时也作为共享存储SAN节点（额外添加一块10g硬盘，作为共享磁盘）

3.两台虚拟机作为gfs节点

4.主机名和IP关系对应如下

172.16.1.1 manager

172.16.1.2 gfs1

172.16.1.3 gfs2

5.集群名为GfsCluster

二：配置管理节点

1.设置主机名、hosts文件、配置manager,gfs1,gfs2基于秘钥的访问（前面的操作gfs1,gfs2同时设置）

2.安装luci和scsi-target-utils

[root@manager ~]# yum -y install luci scsi-target-utils

3.启动luci

[root@manager ~]# chkconfig luci on ;/etc/init.d/luci start

Point your web browser tohttps://manager:8084 (or equivalent) to access luci

[root@manager ~]#

4.把新添加的10g硬盘分成一个1g（作为qdisk）分区sdb1和一个9g（作为gfs2）分sdb2

5.配置iscsitarget

[root@manager ~]# grep -v "^#" /etc/tgt/targets.conf

default-driver iscsi

backing-store /dev/sdb1

backing-store /dev/sdb2

6.启动tgtd服务并检查是否正确生成目标

[root@manager ~]# chkconfig tgtd on;/etc/init.d/tgtd start

Starting SCSI target daemon: [ OK ]

[root@manager ~]#

[root@manager ~]# tgt-admin -s

Target 1:iqn.2014-10.com.wjcyf:server.target1

System information:

Driver: iscsi

State: ready

I_T nexus information:

LUN information:

LUN: 0

Type: controller

SCSI ID: IET 00010000

SCSI SN: beaf10

Size: 0 MB, Block size: 1

Online: Yes

Removable media: No

Prevent removal: No

Readonly: No

Backing store type: null

Backing store path: None

Backing store flags:

LUN: 1

Type: disk

SCSI ID: IET 00010001

SCSI SN: beaf11

Size: 1000 MB, Block size: 512

Online: Yes

Removable media: No

Prevent removal: No

Readonly: No

Backing store type: rdwr

Backing store path: /dev/sdb1

Backing store flags:

LUN: 2

Type: disk

SCSI ID: IET 00010002

SCSI SN: beaf12

Size: 9737 MB, Block size: 512

Online: Yes

Removable media: No

Prevent removal: No

Readonly: No

Backing store type: rdwr

Backing store path: /dev/sdb2

Backing store flags:

Account information:

ACL information:

ALL

[root@manager ~]#

三：配置gfs1和gfs2节点

1.安装rgmanager,cman,gfs2-utils,iscsi-initiator等相关软件包

[root@manager ~]# for i in 1 2; do ssh gfs$i yum -y install rgmanager cman gfs2-utils iscsi-initiator-utils; done

2.启动ricci服务并为ricci用户设置密码

[root@manager ~]# for i in 1 2; do ssh gfs$i "chkconfig ricci on ; /etc/init.d/ricci start"; done

[root@manager ~]# for i in 1 2; do ssh gfs$i 'echo "111111" | passwd --stdin ricci' ; done

Changing password for user ricci.

passwd: all authentication tokens updatedsuccessfully.

Changing password for user ricci.

passwd: all authentication tokens updatedsuccessfully.

3.连接iscsi服务

[root@manager ~]# for i in 1 2; do ssh gfs$i iscsiadm --mode discoverydb --type sendtargets --portal manager --discover;done

[root@manager ~]# for i in 1 2; do ssh gfs$i /etc/init.d/iscsi start; done

4.此时新发现的磁盘sda将作为qdisk，sdb将作为gfs2，如下所示

[root@gfs1 ~]# lsblk

NAME MAJ:MIN RM SIZE RO TYPEMOUNTPOINT

vda 252:0 0 5G 0 disk

vda1 252:1 0 3.9G 0 part /

vda2 252:2 0 1.1G 0 part [SWAP]

sda 8:0 0 953.7M 0 disk

sdb 8:16 0 9.1G 0 disk

[root@gfs1 ~]#

5.在gfs1或gfs2上给/dev/sdb分成一个分区/dev/sdb1

6.创建gfs2挂载目录/gfs2

[root@manager ~]# for i in 1 2; do ssh gfs$i mkdir /gfs2; done

四.创建GfsCluster集群

1.打开IE浏览器输入https://192.168.78.11:8804

2.点击“继续浏览此网站（不推荐）”—输入manager节点用户名"root"，密码：111111，即可进入luci管理界面，如下所示

3.依次点击“Manager clusters”—“Create”打开“创建新集群”对话框，如下所示

4.填写相关内容后，如下所示

5.确认无误后，点击“CreateCluster”,如下所示，正在创建集群

6.集群创建完毕，如下所示

五：创建gfs2分布式文件系统

1.在gfs1或gfs2上操作，查看集群状态

[root@gfs1 ~]# clustat

Cluster Status for GfsCluster @ Wed Oct 2907:03:30 2014

Member Status: Quorate

Member Name ID Status

------ ---- ---- ------

gfs1 1Online, Local

gfs2 2Online

[root@gfs1 ~]#

2. 创建gfs2文件系统

[root@gfs1 ~]# mkfs.gfs2 -j 2 -p lock_dlm -t GfsCluster:TestGfs /dev/sdb1

This will destroy any data on /dev/sdb1.

It appears to contain: data

Are you sure you want to proceed? [y/n] y

Device: /dev/sdb1

Blocksize: 4096

Device Size 9.07 GB (2377212 blocks)

Filesystem Size: 9.07 GB (2377212 blocks)

Journals: 2

Resource Groups: 37

Locking Protocol: "lock_dlm"

Lock Table: "GfsCluster:TestGfs"

UUID: f7fe8f5f-98a6-478c-2845-9a8d26b229f1

[root@gfs1 ~]#

其中参数含义如下：

-j //设置支持的节点数

-p //指定锁方式为分布式锁

-t //指定DLM锁所在的表名称

3.挂载gfs2文件系统

[root@manager ~]# for i in 1 2; do ssh gfs$i 'echo "/dev/sdb1 /gfs2 gfs2 defaults 0 0" >>/etc/fstab'; done

[root@manager ~]# for i in 1 2; do ssh gfs$i mount /gfs2; done

[root@manager ~]# for i in 1 2; do ssh gfs$i chkconfig gfs2 on; done

[root@manager ~]# for i in 1 2; do ssh gfs$i df -h |grep gfs2; done

/dev/sdb1 9.1G 259M 8.9G 3% /gfs2

/dev/sdb1 9.1G 259M 8.9G 3% /gfs2

[root@manager ~]#

4.在/gfs2下创建一个名为abcd的文件夹，然后到gfs2上去查看

[root@gfs1 ~]# mkdir /gfs2/abcd

[root@gfs2 ~]# ll /gfs2/

total 4

drwxr-xr-x 2 root root 3864 Oct 29 07:14abcd

[root@gfs2 ~]#

由此也说明gfs2基本配置成功

六：配置fence设备

1.以上配置的gfs2文件系统，在正常关机和重启的情况下是可以正常工作的，但是如果不是正常关机和重启，比如其中一个节点突然死机或网线被拔出，这时gfs2就不能正常工作了，一个节点网线被拔出后，gfs2文件系统就会挂起，另一个节点也就不能正常的读写操作，这个时候就需要fence设备

2.RHCS提供的fence设备分为两种,一种是内部fence，一种是外部fence

内部fence常见的如下：

■IBM服务器提供的RSAII卡

■HP服务器提供的iLO卡

■DELL服务器提供的DRAC卡

■智能平台管理接口IPMI

外部fence常见的如下：

■UPS电源

■SAN SWITCH

■NETWORK SWITCH

关于fence设备的添加，下片博文再做讨论