爬取Crossin教室ajax异步动态网页django教程内容示例(五)

一、示例代码:

python 复制代码
from bs4 import BeautifulSoup
import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/117.0.0.0 Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest', }
base_url = 'http://111.230.211.102:8080/static/tasks/djangogirl/'


def pages_parse(page):
    page_url = base_url + 'content' + str(page) + '.html'
    print(page_url)
    res = requests.get(url=page_url, headers=headers)

    html = res.text
    soup = BeautifulSoup(html, 'html.parser')
    text = soup.getText(separator='\n', strip=True)
    with open('e:/PycharmProjects/自动化练习/爬取crossin教室的djangogirl的页面内容.txt', 'a+', encoding='utf-8') as file:
        file.write(text)
    print(text)


if __name__ == '__main__':
    for page in range(18):
        pages_parse(page)

二、主要步骤说明:

该示例重点在于通过F12打开使用浏览器开发者工具,F5刷新页面,通过点击XHR过滤出来使用ajax的动态页面,选中页面后,通过右侧的标头选项卡里面的请求URL可以找到有实质页面内容的URL。之后就可以根据URL规律构造每页的URL字符串。然后循环爬取所有的页面。完成抓取。

三、要点说明:

该示例通过BeautifulSoup处理网页源代码中的标签。在码上行动答疑群咨询了Crossin老师,给出了以下的用法。通过调用soup对象的getText()方法,(getText()方法通过指定关键字参数separator='\n'、strip=True实现功能)成功去除了页面源代码中的所有html标签。

python 复制代码
text = soup.getText(separator='\n', strip=True)
相关推荐
IT_陈寒3 小时前
Redis那个过期删除策略,差点让我线上崩了
前端·人工智能·后端
jianqiang.xue3 小时前
Espressif-IDE进入维护模式:乐鑫把ESP32开发的宝押给VS Code
前端·css·ide
特创数字科技3 小时前
纯本地离线运行的文档脱敏工具(技术分享)
前端·驱动开发·python
心之语歌4 小时前
uni-app uts原生插件开发:uts 与 Kotlin 交互踩坑实录(附解决方案)
前端·后端
再吃一根胡萝卜4 小时前
DSH 插件数据链路:Host 管数据,Client 只管画
前端
feixing_fx4 小时前
CSS 变量(Custom Properties):构建可扩展的主题切换系统
前端·css·前端框架·html·css3
十有八七5 小时前
手搓 Agent(一):先有大脑——大模型只会做一件事
前端·人工智能·后端
锋行天下5 小时前
「踩坑实录」给 LangGraph Agent 接两个 FastMCP,我被 langchain 偷偷改了工具名
前端·人工智能·后端
跳跳的小星星6 小时前
自研组件】Vue2 + ElementUI 通用列表页封装 wkjp-list-page,一套配置搞定搜索、动态表格、分页、增删改
前端
tryCbest6 小时前
Vue3—— 第 18 篇:Vue 2 到 Vue 3 迁移指南——升级避坑全记录
前端·vue.js