80后聊架构:架构设计中两个重要指标,延时与吞吐量(Latency vs Throughput) | 架构师之路...

《架构师之路:架构设计中的100个知识点》

3.延时与吞吐量

有朋友问我说,架构优化时,什么时候要重点优化延时,什么时候要重点优化吞吐量?

画外音:补充阅读材料在最后。

延时(Latency)**** 与吞吐量(Throughput)****是架构设计中非常重要,又非常容易搞混的两个指标。

什么是延时?

延时是指完成某个动作所需要的时间。

返回一个HTTP请求的时间是200毫秒,我们说请求的延时是200毫秒。

生一个孩子的时间是10个月,我们说生孩子延时是10个月。

什么是吞吐量?

吞吐量是指单位时间内完成某个动作的次数。

一个请求的处理时间是200毫秒,单线程每秒钟可以处理5个请求,我们就说其的吞吐量是每秒5次。

10个月能生一个孩子,我们就说生孩子的吞吐量是每10月1个。

延时和吞吐量有什么关系?

一般来说,降低延时可以提升吞吐量。

例如:200毫秒处理一个请求,优化为100毫秒处理一个请求,吞吐量就由5提升为10了。

但是,不降低延时也可以提升吞吐量。

例如:单线程200毫秒处理一个请求,线程数增加到10,吞吐量就由5提升为50了。

画外音:假如CPU不是瓶颈。

有时候,延时是很难降低,此时不能靠降低延时增加吞吐量。

例如:生孩子的延时就必须是10个月。

此时,提升吞吐量的方法只能多个家庭并发一起生。

回到开篇的问题,架构优化时,什么时候要重点优化延时,什么时候要重点优化吞吐量?

对于大规模系统的架构设计而言:

延时 ,延时更多是**性能(performance)**指标,关乎单用户体验。

吞吐量 ,吞吐量是**扩展性(scalability)**指标,关乎同时能服务多少客户。

系统的性能,是有天花板的,延时不能无限优化,不可能降到0。

系统的扩展性,理论上是无限的,架构合理的话,吞吐量可以无限提升,能同时为无限多的用户同时服务。

一句话来回答这个问题:

一个用户慢,就去优化延时。

多个用户扛不住,就去优化吞吐量。

补充阅读材料

23年1月的一篇《延时与吞吐量》。

https://cs.fyi/guide/latency-vs-throughput

分为几章:

1. 延时

2. 吞吐量

3. 延时与吞吐量的关系

4. Web Server举例

5. Database举例

6. 总结

文章不长,10分钟能读完。

==全文完==

后续我将以短视频+图文+直播+星球社群的形式,系统性的分享架构设计中的100个相关知识点,欢迎感兴趣的童鞋关注。

画外音:均免费。

短视频的进度会快一些,码字有点麻烦,进度会慢一些,大伙静候。

第2集:究竟怎么做架构设计?

回归本心,希望为社区贡献自己的一小点力量。

平台的策略,专业内容不推流,大家多帮忙标星 ,以及点赞,转发,在看三连。感谢。

相关推荐
lytao1231 小时前
单体、微服务、Serverless:架构要匹配问题
微服务·架构·serverless·软件工程
javaDocker1 小时前
金融级 AIOps 架构跃迁(从“1-5-10“快恢目标到 AI Agent 告警收敛的完整技术实践)
人工智能·金融·架构
数字孪生视频孪生2 小时前
三维实时重构异构底座 核工危化无感定位跨境轨迹一屏统揽
大数据·运维·人工智能·重构·架构
数脉3 小时前
让每一条数据都有来龙去脉:我们的列级数据血缘平台功能全景
架构
Forerror20263 小时前
深入理解大模型网关是什么:MAI Gateway架构与核心价值解读
架构·gateway
ZStack开发者社区4 小时前
虚拟化观察 第 001 期:ZSvirt 核心 IaaS 引擎开源,VMware Explore 2026 开幕,Proxmox VE 8 正式 EOL
架构·开源·云计算·vmware·云基础设施·proxmox
河北清兮网络科技4 小时前
直播APP开发怎么选?流媒体高端定制架构解析,避开模板与外包技术坑
小程序·架构·app·短剧·短剧app·广告联盟
凤山老林4 小时前
高可用分布式任务调度架构:Spring Boot 集成 PowerJob 实战指南
spring boot·分布式·架构
拒绝内耗。4 小时前
程序员学架构(一):一张图看懂 Java 后端架构:一个请求怎样从手机到数据库?
java·智能手机·架构
~木雨5 小时前
Java 并发编程架构全景:并发层的五域设计 —— 线程模型、线程池隔离、并发安全到问题治理(全体系汇总)
java·安全·架构·线程池·并发编程·高并发架构