技术栈
异步io
逻极
20 天前
多线程
·
并发编程
·
异步io
Python并发实战:从线程混乱到优雅处理,我们如何将数据处理效率提升5倍
你可能想不到,一个简单的线程池配置错误,竟让我们的数据处理服务内存泄漏了整整48小时我们的数据同步服务在高峰期频繁崩溃,每天需要处理百万级用户行为数据,但原有的串行处理方式让数据延迟高达30分钟。业务团队不断投诉,用户行为分析报告总是"过时"的数据,转化率优化根本无从谈起。
gegeyanxin
9 个月前
大数据
·
flink
·
异步io
·
访问外部数据
flink异步读写外部数据源
异步需要考虑的问题其实很多。所以一般情况下能同步解决的就用同步。这次是有个数据源QPS太高了。20万以上,同步吞吐跟不上。或者同样的处理速率,同步比异步消耗资源多太多。所以就想到了异步方法。需要外部数据源也支持异步访问。刚好是支持的。
Amd794
2 年前
python
·
性能优化
·
多线程
·
并发编程
·
线程安全
·
异步io
·
实战项目
Python多线程编程深度探索:从入门到实战
title: Python多线程编程深度探索:从入门到实战 date: 2024/4/28 18:57:17 updated: 2024/4/28 18:57:17 categories:
Amd794
2 年前
python
·
网络爬虫
·
协程
·
并发编程
·
异步io
·
asyncio
·
aiohttp
深入理解Python协程:从基础到实战
title: 深入理解Python协程:从基础到实战 date: 2024/4/27 16:48:43 updated: 2024/4/27 16:48:43 categories:
AlbertS
2 年前
服务器
·
reactor
·
异步io
·
阻塞与非阻塞
·
同步与异步
究竟什么是阻塞与非阻塞、同步与异步
这几个名词在程序开发时经常听到,但是突然问起来各个词的含义一时间还真是说不清楚,貌似这几个词都是翻译过来的,每个人的解释都不太一样,我对这几个词的理解也不是一成不变的,随着开发经验的积累,渐渐有了自己的记忆方式,所以总结一下,不一定准确,有问题可以一起聊一聊。
linux大本营
2 年前
linux
·
网络编程
·
零拷贝
·
异步io
如何高效实现文件传输:小文件采用零拷贝、大文件采用异步io+直接io
服务器提供文件传输功能,需要将磁盘上的文件读取出来,通过网络协议发送到客户端。如果需要你自己编码实现这个文件传输功能,你会怎么实现呢?
我是有底线的