代码实例：Python 爬虫抓取与解析 JSON 数据

APIshop2025-10-16 17:39

在现代网络爬虫开发中，JSON 数据格式因其简洁和易于解析的特性而被广泛使用。许多网站和 API 都提供 JSON 格式的响应数据，这使得爬取和解析 JSON 数据成为爬虫开发中的一个重要技能。本文将详细介绍如何使用 Python 爬虫抓取和解析 JSON 数据，包括基本概念、常用工具和完整的代码实例。

一、JSON 数据格式简介

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于阅读和编写，同时也易于机器解析和生成。JSON 数据通常以键值对的形式组织，支持以下几种数据类型：

  • 字符串：用双引号括起来的文本。

  • 数字：整数或浮点数。

  • 布尔值 ：true 或 false。

  • 数组：用方括号括起来的有序数据集合。

  • 对象：用花括号括起来的键值对集合。

以下是一个简单的 JSON 示例：

复制代码 
{
  "name": "John Doe",
  "age": 30,
  "is_student": false,
  "courses": ["Math", "Science", "History"],
  "address": {
    "street": "123 Main St",
    "city": "Anytown",
    "state": "CA"
  }
}

二、Python 爬虫抓取 JSON 数据

（一）使用 requests 库

requests 是 Python 中最常用的 HTTP 库之一，用于发送 HTTP 请求。它支持多种请求方法（如 GET、POST、PUT、DELETE 等），并且可以方便地处理 JSON 数据。

以下是一个使用 requests 库抓取 JSON 数据的示例：

复制代码 
import requests

# 目标 URL
url = "https://api.example.com/data"

# 发送 GET 请求
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 将响应内容解析为 JSON
    data = response.json()
    print(data)
else:
    print(f"请求失败，状态码：{response.status_code}")

（二）处理请求参数

在实际应用中，你可能需要向 API 传递参数，如查询字符串或请求体。requests 库允许你通过 params 和 json 参数方便地处理这些情况。

以下是一个示例，展示如何向 API 传递查询字符串和 JSON 请求体：

复制代码 
import requests

# 目标 URL
url = "https://api.example.com/data"

# 查询字符串参数
params = {
    "key1": "value1",
    "key2": "value2"
}

# JSON 请求体
json_data = {
    "name": "John Doe",
    "age": 30
}

# 发送 POST 请求
response = requests.post(url, params=params, json=json_data)

# 检查请求是否成功
if response.status_code == 200:
    # 将响应内容解析为 JSON
    data = response.json()
    print(data)
else:
    print(f"请求失败，状态码：{response.status_code}")

三、解析 JSON 数据

（一）使用 json 模块

Python 的标准库中提供了 json 模块，用于解析和生成 JSON 数据。json.loads() 方法可以将 JSON 字符串解析为 Python 对象，而 json.dumps() 方法可以将 Python 对象转换为 JSON 字符串。

以下是一个解析 JSON 数据的示例：

复制代码 
import json

# JSON 字符串
json_str = '''
{
  "name": "John Doe",
  "age": 30,
  "is_student": false,
  "courses": ["Math", "Science", "History"],
  "address": {
    "street": "123 Main St",
    "city": "Anytown",
    "state": "CA"
  }
}
'''

# 将 JSON 字符串解析为 Python 对象
data = json.loads(json_str)

# 访问解析后的数据
print("Name:", data["name"])
print("Age:", data["age"])
print("Courses:", data["courses"])
print("Address:", data["address"]["street"], data["address"]["city"], data["address"]["state"])

（二）处理嵌套数据

JSON 数据通常包含嵌套结构，如对象和数组。在 Python 中，嵌套的 JSON 数据会转换为嵌套的字典和列表。你可以通过多级索引访问嵌套数据。

以下是一个处理嵌套 JSON 数据的示例：

复制代码 
import json

# JSON 字符串
json_str = '''
{
  "name": "John Doe",
  "age": 30,
  "is_student": false,
  "courses": ["Math", "Science", "History"],
  "address": {
    "street": "123 Main St",
    "city": "Anytown",
    "state": "CA"
  }
}
'''

# 将 JSON 字符串解析为 Python 对象
data = json.loads(json_str)

# 访问嵌套数据
print("Name:", data["name"])
print("Age:", data["age"])
print("Courses:", data["courses"])
print("Address:", data["address"]["street"], data["address"]["city"], data["address"]["state"])

四、完整代码实例

以下是一个完整的代码实例，展示如何使用 Python 爬虫抓取和解析 JSON 数据：

（一）抓取 JSON 数据

复制代码 
import requests

# 目标 URL
url = "https://api.example.com/data"

# 发送 GET 请求
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 将响应内容解析为 JSON
    data = response.json()
    print(data)
else:
    print(f"请求失败，状态码：{response.status_code}")

（二）解析 JSON 数据

复制代码 
import json

# JSON 字符串
json_str = '''
{
  "name": "John Doe",
  "age": 30,
  "is_student": false,
  "courses": ["Math", "Science", "History"],
  "address": {
    "street": "123 Main St",
    "city": "Anytown",
    "state": "CA"
  }
}
'''

# 将 JSON 字符串解析为 Python 对象
data = json.loads(json_str)

# 访问解析后的数据
print("Name:", data["name"])
print("Age:", data["age"])
print("Courses:", data["courses"])
print("Address:", data["address"]["street"], data["address"]["city"], data["address"]["state"])

五、常见问题与解决方法

（一）请求失败

问题 ：请求失败，返回非 200 状态码。 解决方法：

  • 检查 URL 是否正确。

  • 检查请求参数是否正确。

  • 检查 API 是否需要认证（如 API Key）。

  • 检查网络连接是否正常。

（二）JSON 解析错误

问题 ：解析 JSON 数据时出现错误。 解决方法：

  • 确保响应内容是有效的 JSON 格式。

  • 检查 JSON 字符串是否符合 JSON 规范。

  • 使用 try-except 块捕获解析错误。

（三）数据访问错误

问题 ：访问 JSON 数据时出现 KeyError 或 IndexError。 解决方法：

  • 确保访问的键或索引存在于数据中。

  • 使用 get() 方法访问字典键，避免 KeyError。

  • 使用 try-except 块捕获访问错误。

六、最佳实践

（一）错误处理

在爬虫开发中，错误处理是必不可少的。使用 try-except 块捕获可能的错误，并记录错误信息，以便后续排查问题。

复制代码 
import requests

# 目标 URL
url = "https://api.example.com/data"

try:
    # 发送 GET 请求
    response = requests.get(url)
    response.raise_for_status()  # 检查请求是否成功

    # 将响应内容解析为 JSON
    data = response.json()
    print(data)
except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")
except json.JSONDecodeError as e:
    print(f"JSON 解析失败: {e}")

（二）日志记录

在爬虫开发中，日志记录是非常重要的。使用 Python 的 logging 模块记录请求和解析过程中的信息，便于后续排查问题。

复制代码 
import requests
import logging

# 配置日志
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')

# 目标 URL
url = "https://api.example.com/data"

try:
    # 发送 GET 请求
    response = requests.get(url)
    response.raise_for_status()  # 检查请求是否成功

    # 将

响应内容解析为 JSON data = response.json() logging.info("请求成功，数据如下：") logging.info(data) except requests.exceptions.RequestException as e: logging.error(f"请求失败: {e}") except json.JSONDecodeError as e: logging.error(f"JSON 解析失败: {e}")

复制代码 
### （三）数据缓存

为了提高爬虫的效率，可以将抓取的数据缓存到本地文件或数据库中，避免重复请求。

```python
import requests
import json
import os

# 目标 URL
url = "https://api.example.com/data"

# 缓存文件路径
cache_file = "data.json"

# 检查缓存文件是否存在
if os.path.exists(cache_file):
    with open(cache_file, "r") as f:
        data = json.load(f)
    logging.info("从缓存文件加载数据")
else:
    try:
        # 发送 GET 请求
        response = requests.get(url)
        response.raise_for_status()  # 检查请求是否成功

        # 将响应内容解析为 JSON
        data = response.json()

        # 将数据缓存到文件
        with open(cache_file, "w") as f:
            json.dump(data, f)
        logging.info("请求成功，数据已缓存")
    except requests.exceptions.RequestException as e:
        logging.error(f"请求失败: {e}")
    except json.JSONDecodeError as e:
        logging.error(f"JSON 解析失败: {e}")

七、总结

通过本文的介绍，你应该已经掌握了如何使用 Python 爬虫抓取和解析 JSON 数据。通过 requests 库发送 HTTP 请求并获取 JSON 数据，再使用 json 模块解析数据，你可以轻松地处理各种 JSON 格式的数据。在实际开发中，注意错误处理、日志记录和数据缓存等最佳实践，可以提高爬虫的稳定性和效率。

相关推荐
Eric.Lee20213 小时前
ubuntu 安装 Miniconda
linux·运维·python·ubuntu·miniconda
无心水4 小时前
【Python实战进阶】1、Python高手养成指南：四阶段突破法从入门到架构师
开发语言·python·django·matplotlib·gil·python实战进阶·python工程化实战进阶
李剑一4 小时前
Python学习笔记1
python
Salt_07286 小时前
DAY 19 数组的常见操作和形状
人工智能·python·机器学习
无心水7 小时前
【Python实战进阶】2、Jupyter Notebook终极指南：为什么说不会Jupyter就等于不会Python？
python·jupyter·信息可视化·binder·google colab·python实战进阶·python工程化实战进阶
上班日常摸鱼8 小时前
Shell脚本基础教程：变量、条件判断、循环、函数实战（附案例）
python
无心水8 小时前
【Python实战进阶】5、Python字符串终极指南：从基础到高性能处理的完整秘籍
开发语言·网络·python·字符串·unicode·python实战进阶·python工业化实战进阶
2301_807583238 小时前
了解python，并编写第一个程序，常见的bug
linux·python
小白学大数据8 小时前
构建混合爬虫：何时使用Requests，何时切换至Selenium处理请求头？
爬虫·python·selenium·测试工具
2401_827560208 小时前
【Python脚本系列】PyAudio+librosa+dtw库录制、识别音频并实现点击（四）
python·语音识别
热门推荐
01GitHub 镜像站点02【保姆级教程】免费使用Gemini3的5种方法！免翻墙/国内直连03BongoCat - 跨平台键盘猫动画工具04UV安装并设置国内源05安娜的档案(Anna’s Archive) 镜像网站/国内最新可访问入口（持续更新）06Linux下V2Ray安装配置指南07Google Antigravity：无法登录？早期错误、登录修复和用户反馈指南08Labelme从安装到标注：零基础完整指南09全球最强模型Grok4，国内已可免费使用！（附教程）10在VSCode配置Java开发环境的保姆级教程（适配各类AI编程IDE）