爬虫 知识点2以及SSL1129错误该怎么解决

python 复制代码
article_url = url_tag['href']
            article_response = requests.get(article_url, headers=headers)
            article_soup = BeautifulSoup(article_response.content, "html.parser")
            print(index)

(1)article_url = url_tag'href'

这行代码从一个名为url_tag的标签(通常是一个链接标签)中提取href属性的值,并将其赋给article_url变量。这个href属性通常包含了一个完整的网址,指向具体的文章或页面。

(2) article_response = requests.get(article_url, headers=headers)

这行代码使用requests.get()方法向article_url发送一个HTTP GET请求,以获取该网址的内容。headers=headers部分是为了模拟浏览器请求,其中headers是一个包含了User-Agent等信息的字典。

(3)article_soup = BeautifulSoup(article_response.content, "html.parser")

这行代码使用BeautifulSoup将article_response.content(即获取的网页内容)解析为一个BeautifulSoup对象。这样就可以方便地从网页中提取信息。

(4) print(index)

这行代码打印当前的index值,用于调试或跟踪当前处理的是第几个链接。

提取一个链接的href属性。

使用requests库获取该链接指向的页面内容。

使用BeautifulSoup解析该页面内容。

打印当前处理的链接的索引值。

2.爬虫要关掉小黄猫,因为网络会不稳定 (解决SSL1129的问题)

3.以及要换浏览器的请求头user_agent

相关推荐
卸任11 小时前
Vibe coding工具使用心得
前端·ai编程
brien912 小时前
为什么模型标称 1M,Google Antigravity 聊到 256K 却突然失忆?我们给它做了个原生行内监控圆环
前端
修炼的dance12 小时前
录屏关键帧间隔多少合适?六档实测,2秒到10秒小了75.6%
前端
Lank_M12 小时前
关键帧从1秒拉到10秒,录屏小87.3%,摄像头小10.8%
前端
补码缩写12 小时前
用 ffprobe 拆录屏,八成字节在 29 个关键帧上
前端
百思不得小李12 小时前
一个复杂的动态表单是如何实现的
前端·设计模式
陈随易13 小时前
Cmder 停更 17 个月,2.0 支持 Windows Terminal
前端·后端·程序员
清晨Coding13 小时前
删了 Cookie 还能自动登录?Google系网站登录态自动恢复的原理分析
javascript
风骏时光牛马13 小时前
前沿视界
前端
kyriewen13 小时前
我扫了 814 个依赖,97 个还敢要 Node 10
前端·javascript·程序员