技术栈
学术文献
亿牛云爬虫专家
3 小时前
爬虫
·
rust
·
爬虫代理
·
403
·
oom killer
·
学术文献
·
403 forbidden
学术文献爬虫 OOM 崩溃与 403 风暴
连续运行 48 小时后，学术文献抓取进程被 OOM Killer 终止，内存从 200MB 涨到 4.2GB。与此同时，代理 IP 切换后 Cookie 会话失效，学术数据库返回大量 403 Forbidden，有效抓取率从正常运行时的 85% 跌至 30%。
我是有底线的