爬取Crossin教室ajax异步动态网页django教程内容示例(五)

一、示例代码:

python 复制代码
from bs4 import BeautifulSoup
import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/117.0.0.0 Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest', }
base_url = 'http://111.230.211.102:8080/static/tasks/djangogirl/'


def pages_parse(page):
    page_url = base_url + 'content' + str(page) + '.html'
    print(page_url)
    res = requests.get(url=page_url, headers=headers)

    html = res.text
    soup = BeautifulSoup(html, 'html.parser')
    text = soup.getText(separator='\n', strip=True)
    with open('e:/PycharmProjects/自动化练习/爬取crossin教室的djangogirl的页面内容.txt', 'a+', encoding='utf-8') as file:
        file.write(text)
    print(text)


if __name__ == '__main__':
    for page in range(18):
        pages_parse(page)

二、主要步骤说明:

该示例重点在于通过F12打开使用浏览器开发者工具,F5刷新页面,通过点击XHR过滤出来使用ajax的动态页面,选中页面后,通过右侧的标头选项卡里面的请求URL可以找到有实质页面内容的URL。之后就可以根据URL规律构造每页的URL字符串。然后循环爬取所有的页面。完成抓取。

三、要点说明:

该示例通过BeautifulSoup处理网页源代码中的标签。在码上行动答疑群咨询了Crossin老师,给出了以下的用法。通过调用soup对象的getText()方法,(getText()方法通过指定关键字参数separator='\n'、strip=True实现功能)成功去除了页面源代码中的所有html标签。

python 复制代码
text = soup.getText(separator='\n', strip=True)
相关推荐
泯泷32 分钟前
Cloudflare 出手抢 Astro:前端框架之战,底层逻辑变了
前端·javascript·前端框架
狮子座的男孩3 小时前
html+css基础:31、响应式布局(媒体类型,媒体特性,运算符,常用阈值)
前端·css·经验分享·html·响应式布局·媒体类型/特性·常用阈值
鲸鹏芯海微电子科技 (上海) 有限公司3 小时前
手机直连卫星,射频前端到底要解决什么?
前端·智能手机·低轨卫星·謓泽·鲸鹏芯海·毫米波射频·相控阵芯片
Flynt3 小时前
npm run dev --host 有风险?我把 Vite 这个 9.1 分漏洞复现了一遍
前端·vite
AI开源软件3 小时前
Vue3+SpringBoot3 业务配置统一管理:接管、保存与回退怎样保留有效值
java·前端·vue.js·spring boot·vue·ruoyi office
1-1=03 小时前
Vue 脚手架
前端·javascript·vue.js
snow@li3 小时前
node:读取本地文件/静态文件服务器/打开Axure原型/prototype-server
前端·node
狮子座的男孩4 小时前
html+css基础:32、BFC(父子元素防止 margin 塌陷,父子元素清除浮动,兄弟元素两栏布局)
前端·css·经验分享·html·bfc·margin塌陷·清除浮动
zhanlang02174 小时前
HTML 零基础入门到企业实战全套教程【第八章 8.3】HTML5 语义化标签|SEO 优化、页面布局实战应用
前端·html·html5
SameX4 小时前
HarmonyOS 保存组件截图到相册 componentSnapshot 到 photoAccessHelper 完整链
前端