爬取Crossin教室ajax异步动态网页django教程内容示例(五)

一、示例代码:

python 复制代码
from bs4 import BeautifulSoup
import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/117.0.0.0 Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest', }
base_url = 'http://111.230.211.102:8080/static/tasks/djangogirl/'


def pages_parse(page):
    page_url = base_url + 'content' + str(page) + '.html'
    print(page_url)
    res = requests.get(url=page_url, headers=headers)

    html = res.text
    soup = BeautifulSoup(html, 'html.parser')
    text = soup.getText(separator='\n', strip=True)
    with open('e:/PycharmProjects/自动化练习/爬取crossin教室的djangogirl的页面内容.txt', 'a+', encoding='utf-8') as file:
        file.write(text)
    print(text)


if __name__ == '__main__':
    for page in range(18):
        pages_parse(page)

二、主要步骤说明:

该示例重点在于通过F12打开使用浏览器开发者工具,F5刷新页面,通过点击XHR过滤出来使用ajax的动态页面,选中页面后,通过右侧的标头选项卡里面的请求URL可以找到有实质页面内容的URL。之后就可以根据URL规律构造每页的URL字符串。然后循环爬取所有的页面。完成抓取。

三、要点说明:

该示例通过BeautifulSoup处理网页源代码中的标签。在码上行动答疑群咨询了Crossin老师,给出了以下的用法。通过调用soup对象的getText()方法,(getText()方法通过指定关键字参数separator='\n'、strip=True实现功能)成功去除了页面源代码中的所有html标签。

python 复制代码
text = soup.getText(separator='\n', strip=True)
相关推荐
IT_陈寒1 分钟前
Vue开发者必知:5个让你效率翻倍的隐藏技巧
前端·人工智能·后端
deli00713 分钟前
12 个请求挤一条连接:HTTP/1.1 队头阻塞 vs HTTP/2 多路复用实测
前端
deli0071 小时前
TCP 为什么会粘包?4 种拆包方案 49 字节实测对比
前端
deli0072 小时前
32K 上下文塞满后,AI 最先忘掉什么?120 轮对话实测
前端
deli0073 小时前
手机拍灯为什么有一条条黑纹?PWM 240Hz 实测
前端
wangruofeng8 小时前
AI Models 1.1.0 发布,查大模型价格、对比模型和找 API 地址
前端·aigc·ai编程
wangruofeng8 小时前
给前端开发者的 100 个设计参考网站
前端·设计
星栈11 小时前
视频即代码,Remotion 能做什么、不能做什么
前端·音视频开发
广州华水科技11 小时前
单北斗GNSS位移监测系统的应用与技术解析
前端
用户479492835691511 小时前
从一句话或代码仓到可交互 HTML:开源 Agent 画图技能 Archify v3.2 实测与选型边界
前端·后端·面试