Bug地狱 #1 突然宕机,企业级应用到底怎么了

Bug地狱 #1 突然宕机,企业级应用到底怎么了

背景

目前就职的企业经营是一家服务小微门店Saas企业,以进销存管理和客户营销为主体提供订阅服务。项目正式上线可以说是从13年,基础架构是Web和后端使用C# .net,数据库使用SQL Server。这时公司业务正好遇到中国Saas的顶峰,业务不断增长,但是系统宕机的问题一直出现,甚至周末节假日在户外也要oncall,拿出电脑解决问题。

第一次重构 前后端分离

首先是将钱后端一体的代码机构换成前后端分离结构。技术栈仍然是.net。中间前端的技术栈在人员的流转中尝试使用react进行重构,但是最终没有成功。但是部分的页面使用vue进行了重写,使用iframe进行嵌入,没有进行根治的前端重构。通过后端的分离和前端的重写,系统的稳定性得到了提升,但是仍然有很多的隐患,直到今天,这些问题暴露的出来,出现了了更换架构也无法解决的问题,这个后面再讲。

第二次重构 转换技术栈,使用Java 微服务来了 好像好了起来

在我21年除选择入职这家公司,其中最重要的就是我想要进入一家使用微服务的公司,公司的服务器大约有70台,约30个服务。

在18年左右,公司进行了第二次重构,转为使用java技术栈,主要原因是架构师的选择与市场的供需关系,市场上找不到那么多能够直接上手企业应用的工程师。这次重构的方式是,通过.net后端转发请求到java微服务,逐步将后端的功能使用java实现。前端没有进行彻底重构,基于底层.net,通过iframe嵌套vue的方式进行业务扩展。后端的技术栈使用Spring Cloud,注册中心使用Consul,各种中间件使用spring data相关的组件,部分数据库迁移到Pgsql。

通过这次重构,所有的后端业务基本上都转变为使用java实现,系统的稳定性得到的提升,没有了时时待命的情况,偶尔出现重大问题基本上都是发生数据库的问题。

第三次重构 重构前端 正式使用vue

到了22年,通过转为java的后端,系统稳定了,但是前端的用户体验和开发效率都很低,而且随着业务的不断扩展,重构必然要进行,不然开发的节奏始终会被限制。前端使用qiankun 微前端进行重构,按照业务模块区分子项目。后端部分也重写部分接口,将前后端的职责进行明确区分,同业务下接口的数据结构保持统一,降低未来的代码维护成本。

此时公司还扩展了小程序商城的业务能力,希望通过疫情的影响,帮助更多的小微门店进行线上业务的拓展。小程序商城的技术栈使用uniapp。

危机出现

在第二次重构时,公司的业务已经开始呈现缓慢增长,但是系统压力和数据库的压力不断积累。人员减少(业务增速导致始终成本大于利润,再加上疫情对线下门店的影响)。业务不断扩展代码里惊为天人的循环内远程方法调用,数据库没有建立必要的索引,这些问题导致了系统卡顿。最先建立的数据库,包含了300多张数据表,其中不乏上亿数据的表。少量的人员,既要维护原有的代码,又要兼顾业务扩展。数据量的上升,导致数据库瓶颈,主库压力过大,导致服务雪崩,一旦遇到大量的并发请求,服务就会宕机。

系统仿佛脆弱不堪,就像破了很多洞的巨轮。不管是工作日还是周末,总是会通过客服人员反馈系统无法使用。

是时候要根治这个问题了,要被迫开始建立监控系统,寻找能够监控系统的中间件,将本应该就具有完善的监控系统的服务,变得完整起来。

补充一句,基本没有代码单元测试,直接将新写的代码上线,通过check账号来进行测试。XD

未完待续,建立监控系统,寻找优化点。后面会讲到如何建立Promuetheus监控系统,如何通过中间件监控sql,如何查看线上某个具体接口的性能情况。

相关推荐
凌冰_16 小时前
数据结构 - 时间空间复杂度(一)
数据结构·算法·软件工程
梯度下降者1 天前
GPT-5.6学会写代码来调工具了,Agent的架构正在被重写
软件工程·ai编程·工具调用·效率提升·架构重写
cc5725026536 天前
软件工程专业考什么证对就业更实用?
软件工程
陈工大模型9 天前
收到乱码压缩包之后,我重新测了 7-Zip、Bandizip 和win解压缩
windows·电脑·软件工程·软件需求·7-zip
roman_日积跬步-终至千里14 天前
AI 能让一个人成为团队吗?从数据中台到 OPC,重新理解软件工程能力
大数据·人工智能·软件工程
陈工大模型17 天前
2026年11月最新免费解压软件横评:7-Zip 、 Win解压缩名列前茅
windows·软件工程·7-zip·压缩软件
深圳行云创新18 天前
智能体架构之争:单Agent加Skills,还是多加几个Agent
人工智能·架构·软件工程
长不大的杨瑞杰18 天前
OpenCode v2 配置工程实战:Config 优先级、JSONC、变量替换与多环境治理
人工智能·安全·云计算·软件工程·devops
国际学术会议-杨老师18 天前
2027年软件工程、机电一体化与智能控制国际会议(SEMIC 2027)
软件工程·机电一体化·智能控制
樱花落木兰19 天前
Redis 消息队列的可靠性演进:从 List、Pub/Sub 到 Stream 消费者组,以及 8.x 版本改变了什么
java·开发语言·经验分享·redis·分布式·python·软件工程