当前位置:Gxlcms > 数据库问题 > MySQL SYS CPU高的案例分析(一)

MySQL SYS CPU高的案例分析(一)

时间:2021-07-01 10:21:17 帮助过:15人阅读

原文:MySQL SYS CPU高的案例分析(一)

【现象】

最近关注MySQL CPU告警的问题时,发现有一种场景,有一些服务器最近都较频繁的出现CPU告警,其中的现象是 SYS CPU占比较高。

下面的截图来源于“MySQL CPU报警”采集的文件

 技术分享图片

 

【问题分析】

可以分析出这服务器CPU升高的原因是由于表的高并发写入引起。优化方案通常是通知开发停止写入或降低写入频率。

究竟是什么原因导致高并发写入时CPU sys的占比这么高。

从采集的【Perf Stat】指标看到CPU有大量消耗是集中kernel的spin_lock上,推测sys的消耗占比是由spin lock引起的

技术分享图片

同时从这个系统调用中也可以比较清晰的看出一个INSERT语句的执行过程(只是执行路径上的部分关键函数),简单整理如下:

 技术分享图片

insert当获取不到rw-lock时,保持spin lock,进入短暂等待。高并发的大量访问出现资源竞争,大量线程出现spin lock及context switch,导致CPU飙升。

为了防止自旋锁循环过快,耗费CPU,MySQL中引入了innodb_spin_wait_delay参数,具体可参考下面的官方手册

https://dev.mysql.com/doc/refman/5.6/en/innodb-performance-spin_lock_polling.html

技术分享图片

 

【问题重现】

在测试环境中,启用1000个并发线程模拟高并发写入的场景

 

1、innodb_spin_wait_delay和innodb_sync_spin_loops保持默认值不变

 

CPU idle在18%左右,sys占比40%多,TPS在1.5W左右

 技术分享图片

技术分享图片

 

2、将变量适当增大SET GLOBAL innodb_spin_wait_delay=18;

(注意:18是在Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz 40核的CPU经过多次测试得出的相对合理的值,建议该值大小不要超过24)

可以观察到CPU idle在15%左右,sys占比降到20%多,TPS增加到1.75W左右,MySQL的插入性能约提升了16.7%

 技术分享图片

技术分享图片

 

【结论】

对于MySQL高并发写入的场景,我们可以通过微调innodb_spin_wait_delay参数,减少kernel的spin_lock消耗,降低CPU的sys占比,从而提升MySQL的TPS处理能力。


 技术分享图片

MySQL SYS CPU高的案例分析(一)

标签:竞争   1.5   poll   关注   防止   sync   部分   默认   告警   

人气教程排行