大数据分析统计

大数据分析统计

python 复制代码
from datetime import datetime

import pandas as pd
import matplotlib.pyplot as plt

pm25files = ['PM2.5_2021.csv', 'PM2.5_2022.csv', 'PM2.5_2023.csv']
pm10files = ['PM10_2021.csv', 'PM10_2022.csv', 'PM10_2023.csv']


def read_csv_file(files):
    # 每个文件都有表头,要注意去掉
    df = pd.read_csv(files[0])
    for file in files[1:]:
        df_temp = pd.read_csv(file)
        df = pd.concat([df, df_temp])
    # 将日期列解析为 Pandas 的日期时间对象
    df['Date'] = pd.to_datetime(df['Date'])

    monthly_avg_pm = df.groupby(df['Date'].dt.to_period('M'))['1004ABJ'].mean()

    print(monthly_avg_pm)

    # 初始化列表,用于存储年月和对应的值
    month_list = []
    pm_values_list = []
    # 迭代每个组,并将年月和对应的值添加到列表中
    for month, pm_value in monthly_avg_pm.items():
        month_list.append(str(month))
        pm_values_list.append(pm_value)

    return month_list, pm_values_list


# 读取 CSV 文件
month_list1, pm_values_list1 = read_csv_file(pm25files)
month_list2, pm_values_list2 = read_csv_file(pm10files)

# 创建拆线图
plt.figure(figsize=(10, 6))
plt.plot(month_list1, pm_values_list1, marker='o', linestyle='-', label='PM2.5')
plt.plot(month_list2, pm_values_list2, marker='o', linestyle='-', label='PM10')

# 设置图形标题和坐标轴标签
plt.title('Monthly Average PM2.5 & PM10 Trend')
plt.xlabel('Year-Month')
plt.ylabel('Average PM2.5 && PM10 Value')

# 旋转 x 轴标签,以避免重叠
plt.xticks(rotation=45)

# 显示网格线
plt.grid(True)

# 显示图形
plt.tight_layout()
plt.show()



import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# 将日期时间对象转换为时间戳
timestamp_list = [datetime.fromisoformat(date_str+"-01").timestamp() for date_str in month_list1]
x_data = np.array(timestamp_list)
y_data = np.array(pm_values_list1)

# 将 x_data 转换为二维数组
x_data = x_data.reshape(-1, 1)

# 创建线性回归模型对象
model = LinearRegression()

# 拟合数据
model.fit(x_data, y_data)

# 获取拟合得到的斜率和截距
slope = model.coef_[0]
intercept = model.intercept_


timestamp_list2 = [datetime.fromisoformat(date_str+"-01").timestamp() for date_str in month_list2]
x_data2 = np.array(timestamp_list2)
y_data2 = np.array(pm_values_list2)

# 将 x_data 转换为二维数组
x_data2 = x_data.reshape(-1, 1)

# 创建线性回归模型对象
model2 = LinearRegression()

# 拟合数据
model2.fit(x_data, y_data)

# 获取拟合得到的斜率和截距
slope2 = model2.coef_[0]
intercept2 = model2.intercept_






# 计算拟合直线上的点
fit_line_y = slope * x_data + intercept
fit_line_y2 = slope2 * x_data2 + intercept2

# 绘制原始数据和拟合直线
plt.scatter(x_data, y_data, label='Original Data')
plt.plot(x_data, fit_line_y, color='red', label='Fitted Line')

plt.scatter(x_data2, y_data2, label='Original Data')
plt.plot(x_data2, fit_line_y2, color='yellow', label='Fitted Line')


plt.xlabel('X')
plt.ylabel('Y')
plt.title('Linear Trend Fit')
plt.legend()
plt.grid(True)
plt.show()
相关推荐
ZhengEnCi22 分钟前
项目越写越乱?先别改架构:用一次目录重排 + 一份可复算的体检脚本把乱治住
python·架构·ai编程
驭渊的小故事29 分钟前
订单服务如何调用商品服务?一次 RestTemplate 跨服务调用入门
java·开发语言·php
Dmz丶1 小时前
前端转 AI 100 天 Day 45:阶段复盘——从“会调 API”到“做出 AI 产品”
python
Sakura_j_h_1 小时前
MCP SDK 2.0 实战:用 MCPServer 搭本地笔记检索服务
开发语言·笔记·python·qt·ai工具·mcp·mcpserver
微笑星河q1 小时前
C++STL【vector】常用接口函数使用和迭代器失效问题
开发语言·c++
QuZhengRong2 小时前
【AI】Agent 全栈进阶|AgentScope 沙箱源码解析
python·学习·ai·agent·沙箱
Eider19982 小时前
Python基础语法之并发相关3
开发语言·python
FRing032 小时前
vue2干货总结11(短信验证、登录功能、统一处理错误(响应拦截器)、将token信息存入vuex、vuex持久化处理)
开发语言·前端·javascript·vue.js·vue2
CS_Zero3 小时前
DeepSeek V4.1 Flash 1017 (Batch) 新手极速上手指南
开发语言·batch·deepseek
山楂树の4 小时前
Java 字符串高效处理:StringBuilder、StringBuffer、StringJoiner
java·开发语言