当前位置:Gxlcms > mysql > 运维故障:假如下次注意,可能不会这么幸运

运维故障:假如下次注意,可能不会这么幸运

时间:2021-07-01 10:21:17 帮助过:15人阅读

最近开始做运维,连着2天发生过意外,虽然都有惊无险,但我认为是侥幸!故障记录如下:1. 2014-4-1 新项目上线,在执行DDL时忘了确认字符集,导致开发同学那边查出来是乱码。2. 2014-4-3 部署Oracle DG,自以为主库不是线上库,初始化后重启了主库

最近开始做运维,连着2天发生过意外,虽然都有惊无险,但我认为是侥幸!故障记录如下:1. 2014-4-1 新项目上线,在执行DDL时忘了确认字符集,导致开发同学那边查出来是乱码。2. 2014-4-3 部署Oracle DG,自以为主库不是线上库,初始化后重启了主库
发生事情是我们都喜欢事后诸葛亮,然后扪心自谓:"我下次注意",不要忘了,生产环境是随机行走的,你无法意料它的走向。我的意思是不可控的风险很多,甚至有些是无法避免。
针对这2天的故障,做了些反思:1. 备份:任何操作前都必须备份2. 删除:该操作能不做就最好不做,要做的话,最好先各方沟通协调,确认无误再执行,执行前也必须先备份3. 重启:重启前必须知会相关业务方、程序方以及你的部门老大4. 评估:你必须很清楚你所执行命令的用途、会有哪些风险、变更是否可回滚....等等5. 环境:服务器资源(CPU,IO,MEM)、数据库实例个数以及各自状态、所服务的业务是什么......这些是你管理的DB,你关心过他们吗?6. 方案:上线前或执行重大操作,必须先整出一份方案,细化到每一份可能带来的风险
如果有兴趣的朋友,也可看下之前写的文章逃离故障的十条运维工作经验总结
请尊重而且敬畏你的线上环境!
假如下次注意,也许会很幸运。
Good Luck!

人气教程排行