LSTM实现天气模型训练与预测

要实现一个天气预测的模型，并确保该模型可以反复进行训练和更新，先设计：

设计方案

1. 数据获取：

   • 使用公开的天气数据API（例如OpenWeather API或其他类似的API）获取天气数据。
   • 确保数据以合适的格式（如CSV或JSON）进行存储和处理，数据应该包含时间戳、温度、湿度、降水量等字段。

2. 数据预处理：

   • 对天气数据进行清洗，包括处理缺失值、异常值、日期时间格式处理等。
   • 将数据转化为适合机器学习模型训练的格式，进行特征工程（如标准化、归一化等）。

3. 模型选择：

   • 使用时间序列预测模型（如ARIMA、Prophet）或机器学习模型（如Random Forest、XGBoost等）来进行天气预测。
   • 如果需要处理多种特征（如温度、湿度等），可以选择集成方法或深度学习模型（如LSTM、GRU等）。

4. 训练与评估：

   • 将数据分为训练集和测试集，进行模型训练，并使用交叉验证等方法来评估模型性能。
   • 训练后保存模型（可以使用joblib、pickle等工具）以便反复使用。

5. 模型更新：

   • 定期获取新的数据并用其进行模型更新。
   • 需要设置定时任务，自动下载新数据并更新模型。

---

详细实现

以下是设计后的方案和代码：

项目文件夹结构

weather-prediction/
├── data/
│   ├── raw/                  # 原始天气数据文件
│   ├── processed/            # 预处理后的数据文件
│   └── model/                # 存储训练好的模型
├── scripts/
│   ├── download_weather_data.py   # 下载天气数据并保存为CSV
│   ├── preprocess_data.py         # 数据预处理脚本
│   ├── train_model.py            # 训练LSTM模型脚本
│   ├── continue_training.py      # 持续训练脚本
│   └── predict_weather.py        # 预测天气脚本
├── models/
│   ├── weather_lstm_model.h5    # 保存的LSTM模型
└── requirements.txt           # 项目依赖包

详细步骤

1. 下载天气数据脚本（download_weather_data.py）：从API获取并保存到CSV文件。
2. 数据预处理脚本（preprocess_data.py）：加载CSV，处理数据并保存为标准格式。
3. 训练模型脚本（train_model.py）：使用LSTM模型进行训练并保存模型。
4. 持续训练脚本（continue_training.py）：加载已保存的模型，使用新数据进行模型更新。
5. 预测天气脚本（predict_weather.py）：使用训练好的模型进行天气预测。

1. 下载天气数据并保存到CSV文件（download_weather_data.py）

import requests
import pandas as pd
import os
from datetime import datetime

# 下载天气数据
def fetch_weather_data(api_key, city="Beijing"):
    url = f"http://api.openweathermap.org/data/2.5/forecast?q={city}&appid={api_key}&units=metric"
    response = requests.get(url)
    data = response.json()
    weather_data = []

    for item in data['list']:
        weather_data.append({
            "datetime": item['dt_txt'],
            "temperature": item['main']['temp'],
            "humidity": item['main']['humidity'],
            "pressure": item['main']['pressure'],
            "wind_speed": item['wind']['speed'],
            "rain": item.get('rain', {}).get('3h', 0)
        })

    df = pd.DataFrame(weather_data)
    return df

def save_weather_data_to_csv(df, filename="../data/raw/weather_data.csv"):
    if not os.path.exists(os.path.dirname(filename)):
        os.makedirs(os.path.dirname(filename))
    df.to_csv(filename, index=False)
    print(f"Weather data saved to {filename}")

def main():
    api_key = "your_openweather_api_key"
    city = "Beijing"
    df = fetch_weather_data(api_key, city)
    save_weather_data_to_csv(df)

if __name__ == "__main__":
    main()

2. 数据预处理脚本（preprocess_data.py）

import pandas as pd
from sklearn.preprocessing import StandardScaler
import os

def load_data(filename="../data/raw/weather_data.csv"):
    df = pd.read_csv(filename)
    df['datetime'] = pd.to_datetime(df['datetime'])
    return df

def preprocess_data(df):
    # 时间特征处理
    df['hour'] = df['datetime'].dt.hour
    df['day'] = df['datetime'].dt.dayofweek
    df['month'] = df['datetime'].dt.month
    df['year'] = df['datetime'].dt.year

    # 特征选择
    features = ['temperature', 'humidity', 'pressure', 'wind_speed', 'rain', 'hour', 'day', 'month', 'year']
    df = df[features]

    # 标准化特征
    scaler = StandardScaler()
    df[features] = scaler.fit_transform(df[features])

    return df, scaler

def save_processed_data(df, filename="../data/processed/processed_weather_data.csv"):
    df.to_csv(filename, index=False)
    print(f"Processed data saved to {filename}")

def main():
    df = load_data()
    processed_data, scaler = preprocess_data(df)
    save_processed_data(processed_data)
    return scaler

if __name__ == "__main__":
    main()

3. 训练LSTM模型脚本（train_model.py）

import pandas as pd
import numpy as np
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Dense, Dropout
from sklearn.model_selection import train_test_split
import os

def load_processed_data(filename="../data/processed/processed_weather_data.csv"):
    return pd.read_csv(filename)

def prepare_lstm_data(df, time_steps=10):
    X, y = [], []
    for i in range(time_steps, len(df)):
        X.append(df.iloc[i-time_steps:i, :-1].values)  # 选择过去的时间步作为特征
        y.append(df.iloc[i, 0])  # 预测当前温度
    X, y = np.array(X), np.array(y)
    return X, y

def create_lstm_model(input_shape):
    model = Sequential([
        LSTM(50, return_sequences=True, input_shape=input_shape),
        Dropout(0.2),
        LSTM(50, return_sequences=False),
        Dropout(0.2),
        Dense(1)
    ])
    model.compile(optimizer='adam', loss='mean_squared_error')
    return model

def train_model(X, y):
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
    model = create_lstm_model((X_train.shape[1], X_train.shape[2]))
    model.fit(X_train, y_train, epochs=20, batch_size=32, validation_data=(X_test, y_test))
    return model

def save_model(model, filename="../models/weather_lstm_model.h5"):
    if not os.path.exists(os.path.dirname(filename)):
        os.makedirs(os.path.dirname(filename))
    model.save(filename)
    print(f"Model saved to {filename}")

def main():
    df = load_processed_data()
    X, y = prepare_lstm_data(df)
    model = train_model(X, y)
    save_model(model)

if __name__ == "__main__":
    main()

4. 持续训练脚本（continue_training.py）

import tensorflow as tf
import pandas as pd
from train_model import load_processed_data, prepare_lstm_data, create_lstm_model, save_model
import os

def load_model(filename="../models/weather_lstm_model.h5"):
    return tf.keras.models.load_model(filename)

def continue_training(model, df, time_steps=10):
    X, y = prepare_lstm_data(df, time_steps)
    model.fit(X, y, epochs=10, batch_size=32)
    return model

def main():
    df = load_processed_data()
    model = load_model()
    updated_model = continue_training(model, df)
    save_model(updated_model)

if __name__ == "__main__":
    main()

5. 预测天气脚本（predict_weather.py）

import tensorflow as tf
import pandas as pd
from train_model import prepare_lstm_data

def load_model(filename="../models/weather_lstm_model.h5"):
    return tf.keras.models.load_model(filename)

def predict_weather(model, df, time_steps=10):
    X, _ = prepare_lstm_data(df, time_steps)
    predictions = model.predict(X)
    return predictions

def main():
    df = pd.read_csv("../data/processed/processed_weather_data.csv")
    model = load_model()
    predictions = predict_weather(model, df)
    print(predictions)

if __name__ == "__main__":
    main()

6. 依赖文件（requirements.txt）

pandas
numpy
scikit-learn
tensorflow
requests

代码说明

1. 下载天气数据并保存：

   • download_weather_data.py脚本从OpenWeather API获取数据并保存为CSV文件。

2. 数据预处理：

   • preprocess_data.py脚本进行数据清洗、标准化以及特征处理，保存为预处理过的CSV文件。

3. 训练LSTM模型：

   • train_model.py通过使用过去的时间序列数据来训练LSTM模型，并保存模型。

4. 持续训练：

   • continue_training.py脚本加载已保存的模型，并继续使用新数据进行训练。

5. 预测天气：

   • predict_weather.py加载训练好的模型并对新数据进行天气预测。

没有谁生来就是优秀的人，你可以不优秀，但是不可以失去动力，不求上进，只会荒废一生。