[Web自动化] BeautifulSoup导航文档树

7.4 BeautifulSoup导航文档树

7.4.1 子节点和子孙节点

7.4.1.1 子节点
  • .contents :这是一个列表,包含了Tag对象的所有子节点。列表的第一个元素是Tag的第一个子节点,最后一个元素是最后一个子节点。如果Tag不包含任何内容,则.contents是一个空列表。
  • .children :这是一个生成器,用于迭代Tag的所有子节点。与.contents不同,.children不会一次性加载所有子节点到内存中,因此适用于处理大型文档。

示例

python 复制代码
from bs4 import BeautifulSoup

html_doc = "<p>First paragraph.<a href='http://example.com'>Link</a></p>"
soup = BeautifulSoup(html_doc, 'html.parser')

p_tag = soup.p
print(p_tag.contents)# 输出子节点的列表,如:['First paragraph.', <a href="http://example.com">Link</a>]

for child in p_tag.children:
 print(child)# 迭代输出每个子节点
7.4.1.2 子孙节点
  • .descendants:这是一个生成器,用于迭代Tag的所有子孙节点,即直接子节点、子节点的子节点等,直到最底层的节点。

示例

python 复制代码
for descendant in p_tag.descendants:
 print(descendant)# 迭代输出所有子孙节点,包括文本节点和标签

7.4.2 父节点和祖先节点

  • .parent :返回当前节点的直接父节点。如果节点是顶层节点(如整个文档的根节点),则返回None
  • .parents:这是一个生成器,返回当前节点的所有祖先节点,从直接父节点开始,一直到文档的根节点。

示例

python 复制代码
a_tag = soup.a
print(a_tag.parent)# 输出:<p>First paragraph.<a href="http://example.com">Link</a></p>

for parent in a_tag.parents:
 print(parent)# 迭代输出所有祖先节点

7.4.3 兄弟节点

  • .next_sibling.previous_sibling :分别返回当前节点的下一个和上一个兄弟节点。如果节点是最后一个或第一个兄弟节点,则返回None
  • .next_siblings.previous_siblings:这是两个生成器,分别迭代当前节点之后和之前的所有兄弟节点。

示例

python 复制代码
for sibling in a_tag.next_siblings:
 print(sibling)# 迭代输出<a>标签之后的所有兄弟节点(在这个例子中,可能没有输出,因为<a>是最后一个子节点)
# 假设我们有一个更复杂的结构来演示.previous_sibling
html_doc = "<p>Text before <a href='http://example.com'>Link</a> Text after</p>"
soup = BeautifulSoup(html_doc, 'html.parser')
a_tag = soup.a
print(a_tag.previous_sibling)# 输出:Text before (注意,这可能包括额外的空格或换行符,具体取决于HTML文档的格式)

# 对于.previous_siblings,这里没有直接的前一个兄弟节点可以展示,但如果有,可以类似地迭代它们

请注意,兄弟节点之间的空格、换行符等也可能被视为NavigableString对象,因此在遍历兄弟节点时可能会遇到它们。此外,实际的输出可能取决于HTML文档的格式和解析器的实现细节。

相关推荐
寻星探路6 分钟前
【深度长文】万字攻克网络原理:从 HTTP 报文解构到 HTTPS 终极加密逻辑
java·开发语言·网络·python·http·ai·https
崔庆才丨静觅2 小时前
hCaptcha 验证码图像识别 API 对接教程
前端
passerby60612 小时前
完成前端时间处理的另一块版图
前端·github·web components
掘了3 小时前
「2025 年终总结」在所有失去的人中,我最怀念我自己
前端·后端·年终总结
崔庆才丨静觅3 小时前
实用免费的 Short URL 短链接 API 对接说明
前端
ValhallaCoder3 小时前
hot100-二叉树I
数据结构·python·算法·二叉树
崔庆才丨静觅3 小时前
5分钟快速搭建 AI 平台并用它赚钱!
前端
猫头虎3 小时前
如何排查并解决项目启动时报错Error encountered while processing: java.io.IOException: closed 的问题
java·开发语言·jvm·spring boot·python·开源·maven
崔庆才丨静觅3 小时前
比官方便宜一半以上!Midjourney API 申请及使用
前端
Moment3 小时前
富文本编辑器在 AI 时代为什么这么受欢迎
前端·javascript·后端