Beautiful Soup爬取数据html xml

简介

Beautiful Soup是一个Python库,用于从HTML或XML文件中提取数据。

它提供了一种简单而灵活的方式来解析和遍历HTML或XML文档,并提供了一些有用的方法来提取所需的数据。

安装

python 复制代码
pip install beautifulsoup4

使用

  1. 导入库:在Python脚本的开头,导入Beautiful Soup库。
python 复制代码
from bs4 import BeautifulSoup
  1. 读取HTML或XML文档:使用适当的方法读取HTML或XML文档,并将其存储在一个变量中。您可以从文件中读取文档,也可以直接将文档内容作为字符串传递给Beautiful Soup。
python 复制代码
# 从文件中读取HTML文档
with open('example.html', 'r') as f:
    html_doc = f.read()

或者直接传递HTML字符串

python 复制代码
html_doc = '<html><body><h1>Hello, World!</h1></body></html>'
  1. 创建Beautiful Soup对象:使用Beautiful Soup库创建一个BeautifulSoup对象,将文档内容和解析器类型作为参数传递给它。
python 复制代码
soup = BeautifulSoup(html_doc, 'html.parser')
  1. 解析和提取数据:使用Beautiful Soup提供的方法和属性,解析和提取您需要的数据。您可以使用标签名、类名、属性等方式来定位和选择元素。
python 复制代码
# 通过标签名选择元素
title = soup.h1
print(title.text)  # 输出元素文本内容

# 通过类名选择元素
paragraphs = soup.find_all('p')
for p in paragraphs:
    print(p.text)

# 通过属性选择元素
links = soup.find_all('a', href=<a href="http://example.com" class="underline" target="_blank">Click this URL</a>)
for link in links:
    print(link['href'])

举例

URL爬数据,弄两万用户左右,然后还需要follower和following的数量

https://www.personalitycafe.com/members/ .html

保存在csv中

  1. 导入所需的库:
python 复制代码
import requests
from bs4 import BeautifulSoup
import csv
  1. 发送HTTP请求并创建Beautiful Soup对象:
python 复制代码
url = <a href="https://www.personalitycafe.com/members/" class="underline" target="_blank">Click this URL</a>
response = requests.get(url)
html_doc = response.text
soup = BeautifulSoup(html_doc, 'html.parser')
  1. 解析用户列表并提取所需信息:
python 复制代码
user_list = soup.find_all('li', class_='member')

data = []
for user in user_list:
    username = user.find('a', class_='username').text
    follower_count = user.find('dd', class_='follow_count').text
    following_count = user.find('dd', class_='following_count').text
    data.append([username, follower_count, following_count])
  1. 将数据保存到CSV文件:
python 复制代码
filename = 'user_data.csv'

with open(filename, 'w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['Username', 'Follower Count', 'Following Count'])
    writer.writerows(data)

print(f"数据已保存到 {filename} 文件中。")

这样,爬取到的用户数据将会保存在名为 "user_data.csv" 的CSV文件中,包括用户名、follower数量和following数量。

请注意,根据目标网站的结构和HTML标记,可能需要进一步的调整和修改代码以正确提取所需的数据。

要正确提取所需的数据,需要根据目标网站的结构和HTML标记进行进一步的调整和修改代码。

Beautiful Soup

一些常用的Beautiful Soup操作和技巧

  1. 使用标签名称提取元素:
python 复制代码
elements = soup.find_all('tag_name')
  1. 使用CSS选择器提取元素:
python 复制代码
elements = soup.select('css_selector')
  1. 提取元素的文本内容:
python 复制代码
text = element.get_text()
  1. 提取元素的属性值:
python 复制代码
attribute_value = element['attribute_name']
相关推荐
紫雾凌寒32 分钟前
计算机视觉 |解锁视频理解三剑客——TimeSformer
python·深度学习·神经网络·计算机视觉·transformer·timesformer
Good Note43 分钟前
Golang——常用库context和runtime
开发语言·爬虫·golang
程序员杰哥1 小时前
测试用例详解
自动化测试·软件测试·python·功能测试·测试工具·职场和发展·测试用例
go54631584657 小时前
本地部署 GitHub 上的 Python 人脸识别项目
开发语言·python·github
FreakStudio8 小时前
手把手教你用 MicroPython 玩转幻尔串口舵机,代码+教程全公开
python·嵌入式·大学生·面向对象·技术栈·电子diy·电子计算机
tekin8 小时前
基于 Python 开发在线多人游戏服务器案例解析
服务器·python·游戏·在线多人游戏服务器
让学习成为一种生活方式10 小时前
libGL.so.1: cannot open shared object file: No such file or directory-linux022
linux·开发语言·python
java1234_小锋10 小时前
一周学会Flask3 Python Web开发-Jinja2模板继承和include标签使用
python·flask·flask3
图书馆钉子户10 小时前
from flask_session import Session 为什么是Session(app)这么用?
python·flask·mybatis
一只蜗牛儿11 小时前
Sherpa-ONNX:说话人识别与语音识别自动开启(VAD)+ Python API 完整指南
人工智能·python·语音识别