爬虫:爬取知乎热榜一级评论及回答2024不包含翻页

一、先上结果(注:本文仅为兴趣爱好探究,请勿进行商业利用或非法研究,负责后果自负,与作者无关)

1、爬标题及其具体内容

2、抓标题下的对应回答

3、爬取对应一级评论

二、上流程

1、获取cookies(相信哥哥姐姐们都会得啦,F12抓一下便知)

2、获取标题的定位(大差不差用了基本的etree,根据路径找到对应的标签位置,因为有些具体的细节涉及商业,打了马赛哈)

3、获取回答内容

4、获取评论内容

5、最后获得结果

【做了一些补环境和逆向,具体的哥哥姐姐们可以详细研究下,文章只是简单写了一些,能完成基本的想要的任务,想要源码的哥哥姐姐们,可以私信或者评论区小留言哈,微偿哦,看到会给对应答复,谢谢大家支持,以后还会陆续更新新的内容】

相关推荐
傻啦嘿哟7 小时前
房地产爬虫实战:链家二手房数据抓取与深度分析
爬虫
雨中散步撒哈拉1 天前
16、做中学 | 初三上期 Golang面向对象_进阶
爬虫·python·golang
召唤神龙1 天前
爬虫代理IP池搭建指南:实测推荐高可用服务商
爬虫·tcp/ip
深蓝电商API1 天前
“油猴”脚本变身爬虫:Tampermonkey辅助自动化与数据采集
爬虫·自动化·tampermonkey
云动雨颤1 天前
爬虫是怎么工作的?从原理到用途
爬虫·python·数据挖掘
深蓝电商API1 天前
Scrapy源码剖析:下载器中间件是如何工作的?
爬虫·scrapy
召唤神龙2 天前
Scrapy爬虫多IP代理配置指南:避开反爬还能提速的实战技巧
爬虫·tcp/ip
深蓝电商API2 天前
So 库的攻防:当爬虫遇到 Native 加密函数该怎么办?
爬虫·so库
蒋星熠2 天前
爬虫中Cookies模拟浏览器登录技术详解
开发语言·爬虫·python·正则表达式·自动化·php·web
雪碧聊技术3 天前
爬豆瓣喜剧电影排行榜数据
爬虫·xhr请求