爬虫:爬取知乎热榜一级评论及回答2024不包含翻页

一、先上结果(注:本文仅为兴趣爱好探究,请勿进行商业利用或非法研究,负责后果自负,与作者无关)

1、爬标题及其具体内容

2、抓标题下的对应回答

3、爬取对应一级评论

二、上流程

1、获取cookies(相信哥哥姐姐们都会得啦,F12抓一下便知)

2、获取标题的定位(大差不差用了基本的etree,根据路径找到对应的标签位置,因为有些具体的细节涉及商业,打了马赛哈)

3、获取回答内容

4、获取评论内容

5、最后获得结果

【做了一些补环境和逆向,具体的哥哥姐姐们可以详细研究下,文章只是简单写了一些,能完成基本的想要的任务,想要源码的哥哥姐姐们,可以私信或者评论区小留言哈,微偿哦,看到会给对应答复,谢谢大家支持,以后还会陆续更新新的内容】

相关推荐
流星Studio16 小时前
某Websocket反爬逆向分析+请求加解密+还原html
爬虫·python·js逆向
程序设计实验室16 小时前
编写爬虫下载公众号上好看的壁纸
爬虫·python
小白学大数据19 小时前
Django多线程爬虫:突破数据抓取瓶颈
数据库·爬虫·scrapy·数据分析·django
B站计算机毕业设计超人1 天前
计算机毕业设计Python+卷积神经网络租房推荐系统 租房大屏可视化 租房爬虫 hadoop spark 58同城租房爬虫 房源推荐系统
大数据·爬虫·python·机器学习·课程设计·数据可视化·推荐算法
B站计算机毕业设计超人1 天前
计算机毕业设计PySpark+Hadoop+Hive机票预测 飞机票航班数据分析可视化大屏 航班预测系统 机票爬虫 飞机票推荐系统 大数据毕业设计
大数据·hadoop·爬虫·python·spark·课程设计·数据可视化
万亿少女的梦1681 天前
基于PHP的校园兼职系统的设计与开发
开发语言·网络·数据库·爬虫·网络安全·php
实在智能RPA1 天前
实在RPA研究|万字解析实在RPA:概念、原理、优势、场景及与爬虫、python区别
人工智能·爬虫·python·自动化·rpa
数据小爬虫@1 天前
如何控制爬虫的速度来避免被屏蔽
爬虫
m0_748255262 天前
基于大数据的气象数据分析与可视化系统设计与实现【爬虫海量数据,LSTM预测】
大数据·爬虫·数据分析