时间:2021-07-01 10:21:17 帮助过:10人阅读
1)先删除缓存
2)再写数据库
3)休眠500毫秒
4)再次删除缓存
那么,这个500毫秒怎么确定的,具体该休眠多久呢?
需要评估自己的项目的读数据业务逻辑的耗时。这么做的目的,就是确保读请求结束,写请求可以删除读请求造成的缓存脏数据。
当然这种策略还要考虑redis和数据库主从同步的耗时。最后的的写数据的休眠时间:则在读数据业务逻辑的耗时基础上,加几百ms。比如:休眠1秒。
从理论上来说,给缓存设置过期时间,是保证最终一致性的解决方案。所有的写操作以数据库为准,只要到达缓存过期时间,则后面的读请求自然会从数据库中读取新值然后回填缓存。
结合双删策略+缓存超时设置,这样最差的情况就是在超时时间内数据存在不一致,而且又增加了写请求的耗时。
第二种方案:异步更新缓存(基于订阅binlog的同步机制)
1.技术整体思路:
MySQL binlog增量订阅消费+消息队列+增量数据更新到redis
1)读Redis:热数据基本都在Redis
2)写MySQL:增删改都是操作MySQL
3)更新Redis数据:MySQ的数据操作binlog,来更新到Redis
2.Redis更新
1)数据操作主要分为两大块:
一个是全量(将全部数据一次写入到redis)
一个是增量(实时更新)
这里说的是增量,指的是mysql的update、insert、delate变更数据。
2)读取binlog后分析 ,利用消息队列,推送更新各台的redis缓存数据。
这样一旦MySQL中产生了新的写入、更新、删除等操作,就可以把binlog相关的消息推送至Redis,Redis再根据binlog中的记录,对Redis进行更新。
其实这种机制,很类似MySQL的主从备份机制,因为MySQL的主备也是通过binlog来实现的数据一致性。
这里可以结合使用canal(阿里的一款开源框架),通过该框架可以对MySQL的binlog进行订阅,而canal正是模仿了mysql的slave数据库的备份请求,使得Redis的数据更新达到了相同的效果。
当然,这里的消息推送工具你也可以采用别的第三方:kafka、rabbitMQ等来实现推送更新Redis。
第二种是Cache Aside Pattern的原本思路,用的比较多,第一种也有在用。为什么会造成这两种分歧勒?原因在于:
第一种方案引入了缓存-数据库双写不一致的问题,即读数据(写缓存)与修改数据(写数据库)并发的情况下,若修改数据数据库事务还没提交,但是已经把缓存从redis中删除,此时来了个读请求,会把旧的数据刷到缓存里面,这样就导致了缓存中的数据直到下一次修改数据库之前肯定是与数据库不一致的。
第二种方案引入了另外一个问题,在提交事务之后,若更新缓存失败,也会导致缓存数据库不一致。
facebook公司用的是第二种方案,因为在高并发的情况下,第一种方案带来的影响肯定比第二种方案要大。因为:
其实个人觉得在没有读写分离的情况下就用第二种方案就够了,引入redis主从架构解决redis可用性就完了,另外,我们可以为缓存设置过期时间,减小第二种方案极端情况下数据库缓存不同步造成的影响。
这是不是说第一种方案完全不可以用勒,也不是,在保证双写串行化的情况下,我们也能够使用第一种方案,但这种方式会牺牲一定的性能,如通过内存队列的形式。比如:
读请求没读到缓存就往内存队列丢一个消息,去更新缓存,同时自己开始轮询缓存。针对写请求,也把数据库更新的操作发送到队列里面去。然后后台线程轮询获取内存队列元素,消费信息。用内存队列的方式将更新缓存和删除缓存的操作给串行化起来。这里可以优化的是
另外也可以粗暴的加锁,对读和写加锁串行化,方案实现起来较简单一点。
但是如果引入了读写分离怎么办勒,由于主从同步延迟,如果采取上面的两种方案,在极端情况下,有可能导致读请求写入缓存中的可能是旧数据。这里根据网上的资料纸上谈兵分析一下,如果严格要求这种情况下也要保住缓存数据库一致性的话,只有通过引入阿里的canel组件,实现针对从库binlog日志的消费逻辑,等到从库更新之后再去删除缓存了。总结一下,在读写分离的情况下,直接使用上面的方案二就可。但如果引入了读写分离,可以采用上面所述的根据从库的Binlog日志来异步更新缓存,但没有具体实操,可能代价有点大,如果没有严格要求缓存数据库一致性,个人觉得可以不采用,实在不行直接放弃
分布式-技术专区-Redis和MySQL缓存一致性问题
标签:缓冲 除了 访问 主从 mysq 数据不一致 需要 而且 数据业务