当前位置:Gxlcms > 数据库问题 > 图文并茂超详细搭建redis缓存服务器(nginx+tomcat+redis+mysql实现session会话共享)

图文并茂超详细搭建redis缓存服务器(nginx+tomcat+redis+mysql实现session会话共享)

时间:2021-07-01 10:21:17 帮助过:12人阅读

819594300

博客地址:http://zpf666.blog.51cto.com/

有什么疑问的朋友可以联系博主,博主会帮你们解答,谢谢支持

一、redis介绍

redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现master-slave(主从)同步。

Redis是一个高性能的key-value数据库。redis的出现,很大程度补偿了memcached这类key/value存储的不足,在部分场合可以对关系数据库起到很好的补充作用。它提供了Java,C/C++,C#,PHP,JavaScript,Perl,Object-C,Python,Ruby等客户端,使用很方便。

如果简单地比较Redis与Memcached的区别,基本上有以下3点:

1、Redis不仅仅支持简单的k/v类型的数据,同时还提供list,set,zset,hash等数据结构的存储。

2、Redis支持数据的备份,即master-slave模式的数据备份。

3、Redis支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用。

在Redis中,并不是所有的数据都一直存储在内存中的。这是和Memcached相比一个最大的区别。Redis只会缓存所有的key的信息,如果Redis发现内存的使用量超过了某一个阀值,将触发swap的操作,Redis根据“swappability =age*log(size_in_memory)”计算出哪些key对应的value需要swap到磁盘。然后再将这些key对应的value持久化到磁盘中,同时在内存中清除。这种特性使得Redis可以保持超过其机器本身内存大小的数据。当然,机器本身的内存必须要能够保持所有的key,因为这些数据是不会进行swap操作的。

当从Redis中读取数据的时候,如果读取的key对应的value不在内存中,那么Redis就需要从swap文件中加载相应数据,然后再返回给请求方。

memcached和redis的比较

1、网络IO模型

Memcached是多线程,非阻塞IO复用的网络模型,分为监听主线程和worker子线程,监听线程监听网络连接,接受请求后,将连接描述字pipe 传递给worker线程,进行读写IO, 网络层使用libevent封装的事件库,多线程模型可以发挥多核作用。

Redis使用单线程的IO复用模型,自己封装了一个简单的AeEvent事件处理框架,主要实现了epoll、kqueue和select,对于单纯只有IO操作来说,单线程可以将速度优势发挥到最大,但是Redis也提供了一些简单的计算功能,比如排序、聚合等,对于这些操作,单线程模型实际会严重影响整体吞吐量,CPU计算过程中,整个IO调度都是被阻塞住的。

2、内存管理方面

Memcached使用预分配的内存池的方式,使用slab和大小不同的chunk来管理内存,value根据大小选择合适的chunk存储。Redis使用现场申请内存的方式来存储数据。

3、存储方式及其它方面

Memcached基本只支持简单的key-value存储,不支持持久化和复制等功能,Redis除key/value之外,还支持list,set,sortedset,hash等众多数据结构

二、如何保持session会话

目前,为了使web能适应大规模的访问,需要实现应用的集群部署。集群最有效的方案就是负载均衡,而实现负载均衡用户每一个请求都有可能被分配到不固定的服务器上,这样我们首先要解决session的统一来保证无论用户的请求被转发到哪个服务器上都能保证用户的正常使用,即需要实现session的共享机制。

在集群系统下实现session统一的有如下几种方案:

1、请求精确定位:sessionsticky,例如基于访问ip的hash策略,即当前用户的请求都集中定位到一台服务器中,这样单台服务器保存了用户的session登录信息,如果宕机,则等同于单点部署,会丢失,会话不复制。

2、session复制共享:sessionreplication,如tomcat自带session共享,主要是指集群环境下,多台应用服务器之间同步session,使session保持一致,对外透明。 如果其中一台服务器发生故障,根据负载均衡的原理,调度器会遍历寻找可用节点,分发请求,由于session已同步,故能保证用户的session信息不会丢失,会话复制,。

此方案的不足之处:

必须在同一种中间件之间完成(如:tomcat-tomcat之间).

session复制带来的性能损失会快速增加.特别是当session中保存了较大的对象,而且对象变化较快时, 性能下降更加显著,会消耗系统性能。这种特性使得web应用的水平扩展受到了限制。

Session内容通过广播同步给成员,会造成网络流量瓶颈,即便是内网瓶颈。在大并发下表现并不好

3、基于cacheDB缓存的session共享

基于memcache/redis缓存的 session 共享

即使用cacheDB存取session信息,应用服务器接受新请求将session信息保存在cache DB中,当应用服务器发生故障时,调度器会遍历寻找可用节点,分发请求,当应用服务器发现session不在本机内存时,则去cache DB中查找,如果找到则复制到本机,这样实现session共享和高可用。

三、nginx+tomcat+redis实现负载均衡、session共享

1、实验环境

主机

操作系统

IP地址

Nginx(4核CPU)

Centos7.2

192.168.1.9

Tomcat-1

192.168.1.11

Tomcat-2

192.168.1.12

Mysql

192.168.1.10

Redis

192.168.1.13

2、虚拟机环境图:

技术分享

3、实验拓扑

技术分享

说明:在这个图中,nginx做为反向代理,实现静动分离,将客户动态请求根据权重随机分配给两台tomcat服务器,redis做为两台tomcat的共享session数据服务器,mysql做为两台tomcat的后端数据库。

4nginx安装配置

说明:使用Nginx作为Tomcat的负载平衡器,Tomcat的会话Session数据存储在Redis,能够实现零宕机的7x24效果。因为将会话存储在Redis中,因此Nginx就不必配置成stick粘贴某个Tomcat方式,这样才能真正实现后台多个Tomcat负载平衡。

下面正式开始安装nginx:

①安装zlib-devel、pcre-devel等依赖包

技术分享

注:结合proxy和upstream模块实现后端web负载均衡

结合nginx默认自带的ngx_http_proxy_module模块 和ngx_http_upstream_module模块实现后端服务器的健康检查。

Proxy:实现反向代理

Upstream:实现负载均衡

②创建nginx程序用户

技术分享

③编译安装nginx

技术分享

图中内容如下:

./configure--prefix=/usr/local/nginx1.10 --user=www --group=www--with-http_stub_status_module --with-http_realip_module --with-http_ssl_module--with-http_gzip_static_module --with-pcre --with-http_flv_module && make && make install

④优化nginx程序的执行路径

技术分享

⑤nginx语法检测

技术分享

⑥编写nginx服务脚本

技术分享

脚本内容如下:

#!/bin/bash

# nginx Startupscript for the Nginx HTTP Server

# chkconfig: -85 15

# pidfile:/usr/local/nginx1.10/logs/nginx.pid

# config:/usr/local/nginx1.10/conf/nginx.conf

nginxd=/usr/local/nginx1.10/sbin/nginx

nginx_config=/usr/local/nginx1.10/conf/nginx.conf

nginx_pid=/usr/local/nginx1.10/logs/nginx.pid

RETVAL=0

prog="nginx"

# Sourcefunction library.

./etc/rc.d/init.d/functions

# Start nginxdaemons functions.

start() {

if [ -f$nginx_pid ] ; then

echo"nginx already running...."

exit 1

fi

echo -n "Starting$prog: "

   $nginxd -c ${nginx_config}

   RETVAL=$?

[ $RETVAL = 0 ]&& touch /var/lock/subsys/nginx

}

# Stop nginxdaemons functions.

stop() {

echo -n"Stopping $prog: "

        $nginxd -s stop

        RETVAL=$?

[ $RETVAL = 0 ]&&rm -f /var/lock/subsys/nginx

}

# reloadnginxservice functions.

reload() {

echo -n"Reloading $prog: "

    $nginxd -s reload

}

# statusngnxservice functions

status() {

if [ -f$nginx_pid ] ; then

echo  "$prog is running"

else

echo  "$prog is stop"

fi

}

case "$1"in

start)

start

        ;;

stop)

stop

        ;;

reload)

reload

        ;;

restart)

stop

start

        ;;

status)

status

        ;;

*)

echo"Usage: $prog {start|stop|restart|reload|status}"

exit 1

        ;;

esac

技术分享

⑧启动nginx服务

技术分享

从上图可以看出来,nginx通过服务脚本启动失败了,解决办法如下:

技术分享

⑨配置nginx反向代理:作用是(反向代理+负载均衡+健康探测)

修改nginx主配置文件:

技术分享

配置文件内容如下:

user  www www;

worker_processes  4;

worker_cpu_affinity0001 0010 0100 1000;

error_log  logs/error.log;

#error_log  logs/error.log  notice;

#error_log  logs/error.log  info;

worker_rlimit_nofile10240;

pid        logs/nginx.pid;

events{

use epoll;

worker_connections  4096;

}

http{

includemime.types;

default_type  application/octet-stream;

log_format  main ‘$remote_addr - $remote_user [$time_local] "$request" ‘

                      ‘$status $body_bytes_sent"$http_referer" ‘

                     ‘"$http_user_agent" "$http_x_forwarded_for"‘;

access_log  logs/access.log  main;

server_tokensoff;

sendfile        on;

tcp_nopush     on;

    #keepalive_timeout  0;

keepalive_timeout  65;

    #Compression Settings

gzipon;

gzip_comp_level6;

gzip_http_version1.1;

gzip_proxiedany;

gzip_min_length1k;

gzip_buffers16 8k;

gzip_typestext/plain text/css text/javascript application/json application/javascript application/x-javascriptapplication/xml;

gzip_varyon;

    #end gzip

    # http_proxy Settings

client_max_body_size   10m;

client_body_buffer_size   128k;

proxy_connect_timeout   75;

proxy_send_timeout   75;

proxy_read_timeout   75;

proxy_buffer_size   4k;

proxy_buffers   4 32k;

proxy_busy_buffers_size   64k;

proxy_temp_file_write_size  64k;

    #load balance Settings

upstreambackend_tomcat {

server192.168.1.11:8080 weight=1 max_fails=2 fail_timeout=10s;

server192.168.1.12:8080 weight=1 max_fails=2 fail_timeout=10s;

    }

    #virtual host Settings

server{

listen       80;

server_name  www.benet.com;

charsetutf-8;

location/ {

roothtml;

index  index.jsp index.html index.htm;

        }

location~* \.(jsp|do)$ {

proxy_pass  http://backend_tomcat;

proxy_redirectoff;

proxy_set_headerHost $host;

proxy_set_headerX-Real-IP $remote_addr;

proxy_set_headerX-Forwarded-For $proxy_add_x_forwarded_for;

proxy_next_upstreamerror timeout invalid_header http_500 http_502 http_503 http_504;

        }

location/nginx_status {

stub_statuson;

access_logoff;

allow192.168.1.0/24;

denyall;

        }

    }

}

重启使其生效:

技术分享

⑩配置防火墙规则

技术分享

5、安装部署tomcat应用程序服务器

1在tomcat-1和tomcat-2节点上安装JDK

说明:在安装tomcat之前必须先安装JDK,JDK的全称是java  development kit,是sun公司免费提供的java语言的软件开发工具包,其中包含java虚拟机(JVM),编写好的java源程序经过编译可形成java字节码,只要安装了JDK,就可以利用JVM解释这些字节码文件,从而保证了java的跨平台性。

①安装JDK,配置java环境:

将jdk-7u65-linux-x64.gz解压:

技术分享

将解压的jdk1.7.0_65目录移致动到/usr/local/下并重命名为java:

技术分享

②在/etc/profile文件中添加内容如下

技术分享

技术分享

图中内容如下:

exportJAVA_HOME=/usr/local/java

exportPATH=$JAVA_HOME/bin:$PATH

③通过source命令执行profile文件,使其生效

技术分享

④查看环境变量是否生效

技术分享

⑤在tomcat1上运行java  -version命令查看java版本是否和之前安装的一致

技术分享

⑥按照①~⑤相同方法也在tomcat2上也安装JDK

截图这里就省略了,步骤都是一模一样的。

至此java环境已经配置完成了。

2在tomcat-1和tomcat-2节点安装配置tomcat

①解压apache-tomcat-7.0.54.tar.gz包

技术分享

②将解压生成的文件夹移动到/usr/local/下,并改名为tomcat7

技术分享

③配置tomcat环境变量

技术分享

技术分享

图中内容如下:

exportJAVA_HOME=/usr/local/java

export CATALINA_HOME=/usr/local/tomcat7

exportPATH=$JAVA_HOME/bin:$CATALINA_HOME/bin:$PATH

④通过source命令执行profile文件,使其生效

技术分享

⑤查看环境变量是否生效

技术分享

⑥查看tomcat的版本信息

技术分享

⑦启动tomcat

技术分享

:startup.sh的路径是:/usr/local/tomcat7/bin/startup.s

⑧Tomcat默认运行在8080端口,运行netstat命令查看8080端口监听的信息

技术分享

8009端口:专门用于和apache配合使用,当apache做为前段代理服务器时,把收到的请求转发给tomcat的8009端口,本实验中,8009端口就用不到了。

8080端口:是tomcat监听客户端的请求的端口,也用于nginx做前段代理服务器时,转发给tomcat的客户请求。

8005端口:是停止tomcat的端口,本实验也用不到。

⑨防火墙规则配置

技术分享

⑩按照①~⑨相同方法也在tomcat2上也安装tomcat并做相关操作,截图这里就省略了,步骤都是一模一样的。

打开浏览器分别对tomcat-1和tomcat-2访问测试:

技术分享

技术分享

扩展知识点:

如果想关闭tomcat则运行/usr/local/tomcat7/bin/shutdown.sh命令。

3好了,大家可以看到访成功,说明我们的tomcat安装完成。

下面我们来修改主配置文件

技术分享

②设置默认虚拟主机,并增加jvmRoute

技术分享

说明:jvmRoute是jvm标识,就是页面最顶部的标签,在实际生产环境中,所有的后台tomcat标识都要一样,这里为了实验的说明性,我两台tomcat的标识改成不一样的。等会为了验证时候好验证。

这里tomcat1我就把标识设置成tomcat-1。

③修改默认虚拟主机,并将网站文件路径指向/web/webapp1,在host段增加context段

技术分享

说明:Context:是上下文,也是一个类,该类封装了每个用户会话、当前 HTTP 请求、请求的页等方面的信息。作用是:提供对整个当前上下文(包括请求对象)的访问。您可以使用此类共享页之间的信息。

docBase:指定Web应用的文件路径(即:就是你的应用的实际目录),可以给定绝对路径,也可以给定相对于<Host>的appBase属性的相对路径,如果Web应用采用开放目录结构,则指定Web应用的根目录,如果Web应用是个war文件,则指定war文件的路径。(指定项目所在地址)

path:指定访问该Web应用的URL入口(即:是给docBase后面跟的物理路径设置别名)

reloadable:如果这个属性设为true,tomcat服务器在运行状态下会监视在WEB-INF/classes和WEB-INF/lib目录下class文件的改动,如果监测到有class文件被更新的,服务器会自动重新加载Web应用。

通俗的说:就是现在我们需要在tomcat里面自定义个网站目录,就需要配置虚拟目录,也就是上下文Comtext字段,起到承上启下的作用。

④增加文档目录与测试文件

技术分享

index.jsp内容如下:

<%@pagelanguage="java" import="java.util.*"pageEncoding="UTF-8"%>

<html>

<head>

<title>tomcat-1</title>

</head>

<body>

<h1><fontcolor="red">Session serviced by tomcat</font></h1>

<tablealigh="center" border="1">

<tr>

<td>SessionID</td>

<td><%=session.getId()%></td>

<%session.setAttribute("abc","abc");%>

</tr>

<tr>

<td>Createdon</td>

<td><%=session.getCreationTime() %></td>

</tr>

</table>

</body>

<html>

停止tomcat运行,检查配置文件并启动tomcat

技术分享

技术分享

技术分享

技术分享

在tomcat2上重复①~⑤的操作,与tomcat1相比,只有jvmRoute不同,另外为了区分由哪个节点提供访问,测试页标题也不同(生产环境两个tomcat服务器提供的网页内容是相同的)。其他的配置都相同。

不同点和相同点截图如下:(黄色区域是不同点,其他都一样)

技术分享

技术分享

技术分享

用浏览器访问nginx主机,验证负载均衡:

第一次访问的结果:

技术分享

第二次访问的结果:

技术分享

说明:从上面的结果能看出两次访问,nginx把访问请求分别分发给了后端的tomcat1和tomcat2,客户端的访问请求实现了负载均衡,但session  id不一样(即:没有实现session保持),这样的话,会给后端服务器造成很大的压力。

再来验证一下健康检查:

说明:关掉一台tomcat主机,用客户端浏览器测试访问。

先关掉tomcat1的tomcat服务:

技术分享

验证:

技术分享

无论你怎么刷新页面,一直都是tomcat2提供服务,说明健康检查起到了作用,验证成功。

下面才是我们的本博文的重点内容:

一、配置tomcat通过redis实现会话保持

1)安装redis以及启动服务

①下载redis源码:

wgethttp://download.redis.io/releases/redis-3.2.3.tar.gz

②解压安装redis

技术分享

下面是安装过程中,出现的一些信息,大家可以看一看:

技术分享

图(一)

技术分享

图(二)

说明:通过上图,我们可以很容易的看出,redis安装到/usr/local,/usr/local/bin,/usr/local/share,/usr/local/include,/usr/local/lib,/usr/local/share/man目录下。

③然后再切换到utils目录下,执行redis初始化脚本install_server.sh

技术分享

说明:这里我全部用的缺省值。全是默认回车了。

技术分享

说明:通过上面的安装过程,我们可以看出redis初始化后redis配置文件

/etc/redis/6379.conf日志文件为/var/log/redis_6379.log,数据文件dump.rdb存放到/var/lib/redis/6379目录下,启动脚本为/etc/init.d/redis_6379。

④现在我们要使用systemd,所以在 /etc/systems/system 下创建一个单位文件名字为 redis_6379.service

技术分享

内容如下:

[Unit]

Description=Redison port 6379

[Service]

Type=forking

ExecStart=/etc/init.d/redis_6379start

ExecStop=/etc/init.d/redis_6379stop

[Install]

WantedBy=multi-user.target

:这里Type=forking是后台运行的形式

⑤启动redis

技术分享

技术分享

从上图我们可以看到,服务状态是死亡状态,解决办法就是重启一下服务即可,如下图所示:

技术分享

技术分享

从上图可以看出来,redis默认监听的是本地回环地址的6379端口。

⑥防火墙规则设置

技术分享

⑦使用redis-cli –version命令查看redis版本

技术分享

说明:通过显示结果,我们可以看到redis版本是3.2.3。

到此源码方式安装redis就介绍完毕。

2)redis安装完毕之后,我们再来配置redis

①因为127.0.0.1不能通信,redis又默认监听本地回环地址,所以我们要设置redis监听的地址,添加监听redis主机的ip。同时考虑到安全性,我们需要启用redis的密码验证功能requirepass参数,redis默认是空密码访问,这样很不安全的。

技术分享

技术分享

技术分享

最终redis配置文件如下:

技术分享

bind 127.0.0.1 192.168.1.13

protected-mode yes

port 6379

tcp-backlog 511

timeout 0

tcp-keepalive 300

daemonize yes

supervised no

pidfile /var/run/redis_6379.pid

loglevel notice

logfile /var/log/redis_6379.log

databases 16

save 900 1

save 300 10

save 60 10000

stop-writes-on-bgsave-error yes

人气教程排行