技术栈
oom killer
亿牛云爬虫专家
2 天前
爬虫
·
rust
·
爬虫代理
·
403
·
oom killer
·
学术文献
·
403 forbidden
学术文献爬虫 OOM 崩溃与 403 风暴
连续运行 48 小时后，学术文献抓取进程被 OOM Killer 终止，内存从 200MB 涨到 4.2GB。与此同时，代理 IP 切换后 Cookie 会话失效，学术数据库返回大量 403 Forbidden，有效抓取率从正常运行时的 85% 跌至 30%。
JiMoKuangXiangQu
15 天前
linux
·
内存管理
·
oom killer
Linux 内存管理：OOM-killer
什么是 OOM-killer？简单来说，就是当系统内存严重不足时，按 OOM-killer 对进程的评分机制，选择分数最高的进程让其退出以释放内存，来满足系统对内存的紧急需求。
码字的字节
9 个月前
hadoop
·
cgroups
·
资源隔离机制
·
容器限制
·
oom killer
深入解析Hadoop资源隔离机制：Cgroups、容器限制与OOM Killer防御策略
在分布式计算环境中，资源隔离是保障多任务并行执行稳定性的关键技术。Hadoop作为主流的大数据处理框架，其资源管理能力直接影响集群的吞吐量和任务成功率。随着YARN架构的引入，Hadoop实现了计算资源与存储资源的解耦，而资源隔离机制则成为YARN节点管理器（NodeManager）最核心的功能模块之一。
我是有底线的