韶光匆匆,眨眼间又过了一年,恍惚间,以为自己在做梦,可是瞥见时间,的确将自己拉回了现实,现在的确现已2023年12月了。丑媳妇总得见公婆,有件工作,从前摧残的我三天三夜睡不着觉,不是很杂乱的问题,而是一个非常小的坑,但却让我失足了,且听我细细讲来。

关于我

咱们好,我是pdudo,是一名荣耀而艰巨的运维小学生,咱们都在总结2023究竟做了什么,我也应该总结一下了,思来想后,仍是写下这个充满离奇,却是小学生都不会踩坑的文章,然后引出我对作业自身的考虑。我愿将其称之为最冤之锅,当然前后还有很杂乱的东西,我都给抽离出来了,仅介绍以此自身和我的考虑。

最冤之锅

2023下半年,公司搞了一个非常杂乱的BI系统,用以收集剖析日志数据,大老板注重我,信赖我,让我来全权负责服务器购买、环境建立以及部署等,这套环境非常杂乱,触及多个不同的域名、触及多套数据收集,其中上层仍是传统的负载均衡,然后接入的nginx,依据域名不同,反向代理到不同的BI后端,做收据入库操作。

开发阶段、测验阶段、正式阶段 都非常顺畅,没有出任何岔子,产品完美的上线了,上线后不久,由于某些不可抗力的原因要调整域名,要做域名的一一切换,由于给了新的域名,所以要修正其nginx装备中的server_name,其他数十个接口都装备的好好地,就一个接口,就一个接口,我脑子一抽,履行批量任务的时分,写错了,原本多个域名装备应当为:

server_name  xxx yyy zzz;

表明该server将监听xxxyyy以及zzz域名,成果我给装备为:

server_name xxx,yyy,zzz;

表明server将监听xxx,yyy,zzz这个域名,当然这个域名是不可能存在的。

修正完毕,使用nginx -t发现没有任何问题,然后reload了一切机器的nginx。期间测验人员反应一切的接口都是正常的,完美!

就这样惊涛骇浪的过了3天,有一个老哥来找到我,说要咱们配合查询一下为什么某条记载没有落库的反常,最终查询查询到该域名所恳求的路由等信息,都被打到了另外的后端上,额。。。最终也查出来了,由于没有xxx,yyy,zzz域名,所以该恳求被默许server接收了,当然入库是失败了,可是研发回来的http状态码居然是200,大约回来的成果是这样的:

HTTP/1.1 200 OK
Content-Type: application/json
Content-Length: 59
{"code": "500", "messages": "not found xxx server"}

至此,问题现已很清晰了,这是一个非常入门级的问题,恰恰是这个门槛石把我绊倒了。我失去了老板的信赖,孤负了领导对我的栽培。可是测验和研发就一点点问题没有吗?

当然最终这些数据都没有找回来,直接将server_name中的,替换为原本的,然后处理了该问题。

考虑

出现问题后,我简直三天三夜睡不着,原因不是别的,是这么根底的问题,我居然栽跟头了,假如我检查了一下所履行的playbook,哪怕是简略的看看和其他task的格局,我或许不会出问题,至少有几率会发现反常,可是我没有做,并且还栽了很严重的跟头,后边自己总结,终于走出来了,我理解为如下几点:

  • 不要信赖自己。
  • 不要信赖他人。
  • 要学会高雅的甩锅。

首先是不要信赖自己,所走的每一个步骤,履行的每个命令,写下的每行代码,都不要过度信赖,要重复检测,咱们若要履行某项操作,最好在履行之前就想好,应该怎么去校验所履行的是否成功,代码亦然,所履行的代码完毕后,需要校验是否履行成功,思维和动作同时细致,才不会让反常产生。

其次是不要信赖他人,在做运维的时分,最烦“听说”这个词,在剖析问题的时分,假如旁人说的xxx,咱们没有经过校验查询,而将其作为支线依据的时分,可能会误判咱们对问题的剖析,然后导致整个剖析都被带歪,所以,自己才是自己的榜首职责人。

最终是高雅的甩锅,人非圣贤孰能无过,出了任何问题后,假如是咱们的问题,要乖乖的立正挨揍,千万不要狡辩,不要追着别个部分咬,没用,还会被小看,给领导留下不好的影响,先立正挨揍,然后再写复盘陈述的时分,将完整的工作头绪写下来即可,比方如上反常,是由于研发抛出的http状态码影响了测验的误判,而导致的本次事端,用合理的话说出来,当然首要职责仍是在运维,能够稍微提及研发和测验。

总结

2023快完毕了,可是每当回想起这次事端,都感到心如刀绞,是由于咱们的忽略,大意,太过于自信而导致的,虽然没有影响到线上业务,可是反常仍是产生了,最终对自己说,杂乱的工作要专心,可是越简略的工作也不要小看,一切的故障很多都是不注意小细节所引发的。虽然很魔幻,但凡这条线上的蚂蚱多考虑一下,多查一下日志,都不会引起该问题,哎,可是事已至此,咱们只能往前看,继续往前走,假如你觉得本盘文章熟悉,嘘,那可能是熟人,给我留点面子,勿扰。