数据存储的正确规范:csv/xlsx和JSON全方位解析

🔸 CSV/XLSX Python对接库环境搭建

在Python中,我们通常使用pandas库来处理CSV/XLSX文件。首先,安装pandasopenpyxl(用于处理XLSX文件):

bash 复制代码
pip install pandas openpyxl

🔹 安装完成后,我们就可以开始使用这些库来读取和写入CSV/XLSX文件了。


🔸 文档写入格式规范

我们需要注意CSV/XLSX文件的写入格式,确保数据的完整性和可读性。

写入CSV文件
python 复制代码
import pandas as pd

data = {
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Age': [25, 30, 35],
    'City': ['New York', 'Los Angeles', 'Chicago']
}

df = pd.DataFrame(data)
df.to_csv('output.csv', index=False, encoding='utf-8')
写入XLSX文件
python 复制代码
df.to_excel('output.xlsx', index=False, encoding='utf-8')

🔹 这里,我们使用pandas库将数据写入CSV和XLSX文件,并指定了编码格式。


🔸 嵌套列表以及字典格式写入

处理复杂数据结构(如嵌套列表和字典)时,可以将数据转换为适合存储的格式。

写入嵌套列表数据
python 复制代码
nested_list = [
    ['Alice', 25, 'New York'],
    ['Bob', 30, 'Los Angeles'],
    ['Charlie', 35, 'Chicago']
]

df = pd.DataFrame(nested_list, columns=['Name', 'Age', 'City'])
df.to_csv('nested_output.csv', index=False, encoding='utf-8')
写入字典数据
python 复制代码
nested_dict = {
    'Name': ['Alice', 'Bob', 'Charlie'],
    'Details': [
        {'Age': 25, 'City': 'New York'},
        {'Age': 30, 'City': 'Los Angeles'},
        {'Age': 35, 'City': 'Chicago'}
    ]
}

df = pd.json_normalize(nested_dict, 'Details', ['Name'])
df.to_csv('dict_output.csv', index=False, encoding='utf-8')

🔹 在这两个示例中,我们分别展示了如何将嵌套列表和字典数据写入CSV文件。


🔸 爬虫对接文档实战

接下来,我们将展示一个完整的爬虫示例,并将爬取到的数据写入CSV/XLSX文件。

python 复制代码
import requests
from bs4 import BeautifulSoup
import pandas as pd

# 爬取网页数据
url = 'http://example.com/articles'
response = requests.get(url)
html_content = response.content
soup = BeautifulSoup(html_content, 'html.parser')

# 解析数据
articles = soup.find_all('div', class_='article')
data = []
for article in articles:
    title = article.find('h1').text
    author = article.find('span', class_='author').text
    content = article.find('p', class_='content').text
    url = article.find('a')['href']
    
    data.append([title, author, content, url])

# 将数据写入CSV文件
df = pd.DataFrame(data, columns=['Title', 'Author', 'Content', 'URL'])
df.to_csv('articles.csv', index=False, encoding='utf-8')

# 将数据写入XLSX文件
df.to_excel('articles.xlsx', index=False, encoding='utf-8')

🔹 通过这个示例,我们展示了如何将爬虫数据存储到CSV和XLSX文件中。


🔸 JSON对象和数组

JSON是一种常见的数据交换格式,在Python中我们使用json库来处理JSON数据。

JSON对象和数组示例
python 复制代码
import json

data = {
    'Name': 'Alice',
    'Age': 25,
    'City': 'New York',
    'Skills': ['Python', 'Data Analysis', 'Machine Learning']
}

json_str = json.dumps(data, indent=4)
print(json_str)

🔹 这里我们将一个字典对象转换为JSON字符串,并使用缩进格式化输出。


🔸 JSON写入规范

将JSON数据写入文件时,确保数据的规范性和易读性。

写入JSON文件
python 复制代码
with open('data.json', 'w', encoding='utf-8') as f:
    json.dump(data, f, ensure_ascii=False, indent=4)

🔹 使用json.dump方法将数据写入JSON文件,并设置ensure_ascii=False以支持非ASCII字符。


🔸 JSON数据编码

处理JSON数据时,可能需要对数据进行编码和解码。

JSON编码示例
python 复制代码
encoded_data = json.dumps(data, ensure_ascii=False)
print(encoded_data)
JSON解码示例
python 复制代码
decoded_data = json.loads(encoded_data)
print(decoded_data)

🔹 通过json.dumpsjson.loads方法,可以方便地对JSON数据进行编码和解码。


🔸 总结

🔹 在本次学习中,我们掌握了如何在Windows和Linux系统下配置CSV/XLSX和JSON环境,了解了数据写入的格式规范,学习了嵌套列表和字典数据的处理方法,并通过实战示例展示了爬虫数据的存储。此外,还学习了JSON对象和数组的处理、写入规范以及数据编码方法。

相关推荐
Ajiang28247353041 小时前
对于C++中stack和queue的认识以及priority_queue的模拟实现
开发语言·c++
幽兰的天空1 小时前
Python 中的模式匹配:深入了解 match 语句
开发语言·python
远歌已逝2 小时前
维护在线重做日志(二)
数据库·oracle
qq_433099403 小时前
Ubuntu20.04从零安装IsaacSim/IsaacLab
数据库
Dlwyz3 小时前
redis-击穿、穿透、雪崩
数据库·redis·缓存
Theodore_10224 小时前
4 设计模式原则之接口隔离原则
java·开发语言·设计模式·java-ee·接口隔离原则·javaee
网易独家音乐人Mike Zhou4 小时前
【卡尔曼滤波】数据预测Prediction观测器的理论推导及应用 C语言、Python实现(Kalman Filter)
c语言·python·单片机·物联网·算法·嵌入式·iot
安静读书4 小时前
Python解析视频FPS(帧率)、分辨率信息
python·opencv·音视频
工业甲酰苯胺5 小时前
Redis性能优化的18招
数据库·redis·性能优化
没书读了6 小时前
ssm框架-spring-spring声明式事务
java·数据库·spring