爬虫:爬取知乎热榜一级评论及回答2024不包含翻页

一、先上结果(注:本文仅为兴趣爱好探究,请勿进行商业利用或非法研究,负责后果自负,与作者无关)

1、爬标题及其具体内容

2、抓标题下的对应回答

3、爬取对应一级评论

二、上流程

1、获取cookies(相信哥哥姐姐们都会得啦,F12抓一下便知)

2、获取标题的定位(大差不差用了基本的etree,根据路径找到对应的标签位置,因为有些具体的细节涉及商业,打了马赛哈)

3、获取回答内容

4、获取评论内容

5、最后获得结果

【做了一些补环境和逆向,具体的哥哥姐姐们可以详细研究下,文章只是简单写了一些,能完成基本的想要的任务,想要源码的哥哥姐姐们,可以私信或者评论区小留言哈,微偿哦,看到会给对应答复,谢谢大家支持,以后还会陆续更新新的内容】

相关推荐
油头少年_w3 小时前
Python爬虫基础
爬虫
照物华6 小时前
python中http.cookiejar和http.cookie的区别
爬虫·python·http
无敌最俊朗@8 小时前
**HTTP/HTTPS基础** - URL结构(协议、域名、端口、路径、参数、锚点) - 请求方法(GET、POST) - 请求头/响应头 - 状态码含义
爬虫·python·网络协议·http·https
漫路在线19 小时前
JS逆向-某易云音乐下载器
开发语言·javascript·爬虫·python
小生凡一1 天前
搜索引擎工作原理|倒排索引|query改写|CTR点击率预估|爬虫
爬虫·搜索引擎
CodeJourney.1 天前
基于MATLAB的生物量数据拟合模型研究
人工智能·爬虫·算法·matlab·信息可视化
一只专注api接口开发的技术猿1 天前
企业级电商数据对接:1688 商品详情 API 接口开发与优化实践
大数据·前端·爬虫
江禾藜1 天前
Python爬虫之路(14)--playwright浏览器自动化
爬虫·python·自动化
北漂老男孩1 天前
ChromeDriver进程泄漏问题分析与最佳实践解决方案
开发语言·爬虫
一个天蝎座 白勺 程序猿1 天前
Python爬虫(29)Python爬虫高阶:动态页面处理与云原生部署全链路实践(Selenium、Scrapy、K8s)
redis·爬虫·python·selenium·scrapy·云原生·k8s