python爬虫-bs4

python爬虫-bs4

目录

说明

BeautifulSoup 是一个HTML/XML的解析器,主要的功能也是如何解析和提取 HTML/XML 数据

在爬虫项目中经常会遇到不规范、及其复杂的HTML代码

BeautifulSoup4提供了强大的方法来遍历文档的节点以及根据各种条件搜索和过滤文档中的元素。你可以使用CSS选择器、正则表达式等灵活的方式来定位和提取所需的数据

安装

shell 复制代码
pip install BeautiifulSoup4

导入

python 复制代码
from bs4 import BeautifulSoup

基础用法

解析对象

python 复制代码
soup = BeautifulSoup('目标数据','解析器')

目前有三种主流解析器

  • html.parser
  • lxml(推荐)
  • html5lib

获取文本

获取文本的方法两种方式textcontents

contents

python 复制代码
from bs4 import BeautifulSoup

data = """
<h1>Welcome to BeautifulSoup Practice</h1>
    <div class="article">
        <h2>Article Title</h2>
        <p>This is a paragraph of text for practicing BeautifulSoup.</p>
        <a href="https://www.example.com">Link to Example Website</a>
"""
soup = BeautifulSoup(data, 'lxml')
print(soup.contents)
# 输出:
"""
[<html><body><h1>Welcome to BeautifulSoup Practice</h1>
<div class="article">
<h2>Article Title</h2>
<p>This is a paragraph of text for practicing BeautifulSoup.</p>
<a href="https://www.example.com">Link to Example Website</a>
</div></body></html>]
"""

text

python 复制代码
print(soup.text)
"""
Welcome to BeautifulSoup Practice

Article Title
This is a paragraph of text for practicing BeautifulSoup.
Link to Example Website
"""

Tag对象

获取HTML中的标签内容

比如<p> <div>

示例:

python 复制代码
print(soup.h2)
# <h2>Article Title</h2>

print(soup.h2.text)
# Article Title
find参数

获取class要加下划线,因为在python中它属于关键字,除了class还可以换成任意属性名

python 复制代码
data = """
<h1>Welcome to BeautifulSoup Practice</h1>
    <div class="article">
        <p>This is a paragraph of text for practicing BeautifulSoup.</p>
    </div>
    <div class="ex2">
        <p>This is a abcd.</p>
    </div>
"""
soup = BeautifulSoup(data, 'lxml')
print(soup.find('div', class_='article'))
获取标签属性
python 复制代码
data = ' <p id = "apple">This is a paragraph of text for practicing BeautifulSoup.</p>'
soup = BeautifulSoup(data, 'lxml')
tag = soup.find('p')
print(tag.get('id'))
# apple
获取所有标签
python 复制代码
soup = BeautifulSoup(data, 'lxml')
print(soup.find_all('p'))
# [<p>This is a paragraph of text for practicing BeautifulSoup.</p>, <p>This is a abcd.</p>]

print(len(soup.find_all('p')))
# 2

括号为空则获取全部标签

获取标签名
python 复制代码
print(soup.div.name)
# div
嵌套获取

示例HTML如下

python 复制代码
html = '''
<div class="article">
    <h2>Article Title</h2>
    <p>This is a paragraph of text for practicing BeautifulSoup.</p>
    <p>This is a abcd.</p>
    <a href="https://www.example.com">Link to Example Website</a>
</div>
'''

目标:获取div下的所有p标签内容

python 复制代码
print(soup.find('div', class_='article').find_all('p'))
子节点和父节点
python 复制代码
soup = BeautifulSoup(data, 'lxml')
# 遍历获取所有父节点
for item in soup.p.parents:
    print(item)

# 遍历获取所有子节点
for i in soup.p.children:
    print(soup.p.children)
相关推荐
ONE_Gua2 小时前
chromium魔改——CDP(Chrome DevTools Protocol)检测01
前端·后端·爬虫
用户27784491049933 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
JavaEdge在掘金5 小时前
ssl.SSLCertVerificationError报错解决方案
python
我不会编程5556 小时前
Python Cookbook-5.1 对字典排序
开发语言·数据结构·python
李少兄6 小时前
Unirest:优雅的Java HTTP客户端库
java·开发语言·http
ONE_Gua6 小时前
chromium魔改——navigator.webdriver 检测
前端·后端·爬虫
老歌老听老掉牙6 小时前
平面旋转与交线投影夹角计算
python·线性代数·平面·sympy
满怀10156 小时前
Python入门(7):模块
python
无名之逆6 小时前
Rust 开发提效神器:lombok-macros 宏库
服务器·开发语言·前端·数据库·后端·python·rust
你觉得2056 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc