初学者如何用 Python 写第一个爬虫?

编写第一个 Python 爬虫并不难,以下是一个简单的步骤指南,帮助从零开始。

1. 安装必要的库

首先,你需要安装 requestsBeautifulSoup 这两个库。requests 用于发送 HTTP 请求,BeautifulSoup 用于解析 HTML 内容。

bash 复制代码
pip install requests beautifulsoup4

2. 导入库

在你的 Python 脚本中导入所需的库。

python 复制代码
import requests
from bs4 import BeautifulSoup

3. 发送 HTTP 请求

使用 requests.get() 方法发送一个 HTTP GET 请求来获取网页内容。

python 复制代码
url = 'https://example.com'
response = requests.get(url)

4. 检查请求是否成功

你可以通过检查 response.status_code 来确保请求成功(状态码 200 表示成功)。

python 复制代码
if response.status_code == 200:
    print('请求成功')
else:
    print('请求失败', response.status_code)

5. 解析 HTML 内容

使用 BeautifulSoup 解析 HTML 内容,并提取你感兴趣的数据。

python 复制代码
soup = BeautifulSoup(response.text, 'html.parser')

6. 提取数据

假设你想提取网页的标题,可以使用以下代码:

python 复制代码
title = soup.title.string
print('网页标题:', title)

如果你想提取所有的链接,可以这样做:

python 复制代码
for link in soup.find_all('a'):
    print(link.get('href'))

7. 完整示例代码

以下是一个完整的示例代码,它会抓取一个网页的标题和所有链接:

python 复制代码
import requests
from bs4 import BeautifulSoup

# 目标URL
url = 'https://example.com'

# 发送HTTP请求
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    print('请求成功')
    
    # 解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取网页标题
    title = soup.title.string
    print('网页标题:', title)
    
    # 提取所有链接
    print('网页链接:')
    for link in soup.find_all('a'):
        print(link.get('href'))
else:
    print('请求失败', response.status_code)

8. 运行代码

将上述代码保存为一个 .py 文件(例如 first_spider.py),然后在终端或命令行中运行:

bash 复制代码
python first_spider.py

9. 进一步学习

  • 学习如何处理更复杂的 HTML 结构。
  • 学习如何使用正则表达式提取数据。
  • 学习如何处理分页、表单提交等更复杂的爬虫任务。
  • 学习如何使用 Scrapy 框架来构建更强大的爬虫。

注意事项

  • 遵守目标网站的 robots.txt 文件中的规则。
  • 不要过度请求,以免给服务器带来负担。
  • 确保你有权抓取和使用目标网站的数据。

通过以上步骤,能够编写并运行你的第一个 Python 爬虫。

相关推荐
上单带刀不带妹2 分钟前
手写 Vue 中虚拟 DOM 到真实 DOM 的完整过程
开发语言·前端·javascript·vue.js·前端框架
im_AMBER22 分钟前
学习日志05 python
python·学习
大虫小呓27 分钟前
Python 处理 Excel 数据 pandas 和 openpyxl 哪家强?
python·pandas
哪 吒39 分钟前
2025B卷 - 华为OD机试七日集训第5期 - 按算法分类,由易到难,循序渐进,玩转OD(Python/JS/C/C++)
python·算法·华为od·华为od机试·2025b卷
-凌凌漆-42 分钟前
【Qt】QStringLiteral 介绍
开发语言·qt
程序员爱钓鱼42 分钟前
Go语言项目工程化 — 常见开发工具与 CI/CD 支持
开发语言·后端·golang·gin
军训猫猫头1 小时前
1.如何对多个控件进行高效的绑定 C#例子 WPF例子
开发语言·算法·c#·.net
真的想上岸啊2 小时前
学习C++、QT---18(C++ 记事本项目的stylesheet)
开发语言·c++·学习
明天好,会的2 小时前
跨平台ZeroMQ:在Rust中使用zmq库的完整指南
开发语言·后端·rust
摸爬滚打李上进2 小时前
重生学AI第十六集:线性层nn.Linear
人工智能·pytorch·python·神经网络·机器学习