yelp数据集上试验SVD,SVDPP,PMF,NMF 推荐算法

狂奔solar2024-11-10 10:26

SVD、SVD++、PMF 和 NMF 是几种常见的推荐算法，它们主要用于协同过滤和矩阵分解方法来生成个性化推荐。下面是对每种算法的简要介绍：

1. SVD（Singular Value Decomposition）

  • 用途：SVD 是一种矩阵分解技术，通常用于降维和数据压缩。在推荐系统中，SVD 用于分解用户-物品评分矩阵，从而识别潜在的特征。
  • 原理：SVD 将评分矩阵分解为三个矩阵的乘积：用户矩阵、奇异值矩阵和物品矩阵。通过保留前几个最大的奇异值，可以捕捉到用户和物品之间的隐含关系。
  • 优势：能够处理稀疏数据，提取潜在特征，生成个性化推荐。
  • 缺点：对缺失值敏感，且需要较大的计算量。

2. SVD++（SVD Plus Plus）

  • 用途：SVD++ 是对 SVD 的扩展，考虑了用户对未评分物品的潜在偏好。
  • 原理：除了使用传统的 SVD 方法外，SVD++ 还引入了隐式反馈（如用户浏览、点击等行为），将这些信息融入模型中，增强了对用户偏好的捕捉能力。
  • 优势：比传统 SVD 更加准确，能够更好地利用隐式反馈信息，适应性更强。
  • 缺点：模型复杂度增加，训练时间较长。

3. PMF（Probabilistic Matrix Factorization）

  • 用途：PMF 是一种基于概率的矩阵分解方法，用于推荐系统。
  • 原理：PMF 假设用户和物品的特征遵循正态分布，通过最大化似然函数来学习这些特征。与 SVD 不同，PMF 通过引入概率模型来捕捉用户和物品之间的关系。
  • 优势：能够处理缺失值，适应性强，适用于稀疏数据。
  • 缺点：计算复杂度较高，可能需要较长的训练时间。

4. NMF（Non-negative Matrix Factorization）

  • 用途：NMF 是一种非负矩阵分解方法，常用于推荐系统和特征学习。
  • 原理：NMF 将原始评分矩阵分解为两个非负矩阵的乘积，这些非负特征使得模型在解释上更具可解释性。
  • 优势：生成的特征可以更直观地理解，适合处理非负数据（如评分、计数等）。
  • 缺点：可能会收敛到局部最优解，且在稀疏数据上表现不如 SVD 和 PMF。

各个推荐算法具有的特点是

  • SVD：利用矩阵分解捕捉用户和物品的隐含特征。
  • SVD++：在 SVD 的基础上引入隐式反馈，增强推荐精度。
  • PMF：基于概率模型的矩阵分解，适应性强。
  • NMF：非负矩阵分解，生成可解释的特征表示。

安装scikit-surprise

pip install pandas scikit-surprise

使用SVD

import pandas as pd
from surprise import Reader, Dataset, SVD
from surprise.model_selection import train_test_split
from surprise import accuracy
import json

# 1. 加载Yelp数据集
# 假设数据文件名为 'yelp_academic_dataset_review.json'
file_path = 'yelp_academic_dataset_review.json'

# 加载JSON文件到DataFrame
with open(file_path, 'r') as f:
    data = [json.loads(line) for line in f]

# 将数据转换为pandas DataFrame
df = pd.DataFrame(data)

# 2. 选择必要的字段：user_id, business_id, rating
df = df[['user_id', 'business_id', 'stars']]  # 假设评分字段是 'stars'

# 3. 数据预处理：将DataFrame转换为适合Surprise库的格式
reader = Reader(rating_scale=(1, 5))  # 假设评分是1到5
dataset = Dataset.load_from_df(df[['user_id', 'business_id', 'stars']], reader)

# 4. 划分训练集和测试集
trainset, testset = train_test_split(dataset, test_size=0.2)

# 5. 使用SVD训练模型
svd = SVD()
svd.fit(trainset)

# 6. 在测试集上进行预测并评估
predictions = svd.test(testset)
print(f'RMSE: {accuracy.rmse(predictions)}')

# 7. 获取每个用户的Top-N推荐商家
def get_top_n(predictions, n=10):
    top_n = {}
    for uid, iid, true_r, est, _ in predictions:
        if uid not in top_n:
            top_n[uid] = []
        top_n[uid].append((iid, est))

    # 对每个用户推荐列表按照评分进行排序
    for uid, user_ratings in top_n.items():
        user_ratings.sort(key=lambda x: x[1], reverse=True)
        top_n[uid] = user_ratings[:n]

    return top_n

# 获取推荐结果
top_n = get_top_n(predictions, n=10)

# 8. 为特定用户推荐商家
user_id = 'fB3jbHi3m0L2KgGOxBv6uw'  # 替换为目标用户ID
recommended_businesses = top_n.get(user_id, [])
print(f"Top 10 recommended businesses for user {user_id}:")
for business_id, rating in recommended_businesses:
    print(f"Business ID: {business_id}, Predicted Rating: {rating}")

这个示例假设评分值在1到5之间（即rating_scale=(1, 5)），如果评分范围不同，请修改为适合你的数据集的范围。

运行结果

RMSE: 1.2863

RMSE: 1.2862955370267326

Top 10 recommended businesses for user fB3jbHi3m0L2KgGOxBv6uw

使用 SVD++

import pandas as pd
from surprise import Reader, Dataset, SVDpp
from surprise.model_selection import train_test_split
from surprise import accuracy
import json

# 1. 加载Yelp数据集
# 假设数据文件名为 'yelp_academic_dataset_review.json'
file_path = 'yelp_academic_dataset_review.json'

# 加载JSON文件到DataFrame
with open(file_path, 'r') as f:
    data = [json.loads(line) for line in f]

# 将数据转换为pandas DataFrame
df = pd.DataFrame(data)

# 2. 选择必要的字段：user_id, business_id, rating
df = df[['user_id', 'business_id', 'stars']]  # 假设评分字段是 'stars'

# 3. 数据预处理：将DataFrame转换为适合Surprise库的格式
reader = Reader(rating_scale=(1, 5))  # 假设评分是1到5
dataset = Dataset.load_from_df(df[['user_id', 'business_id', 'stars']], reader)

# 4. 划分训练集和测试集
trainset, testset = train_test_split(dataset, test_size=0.2)

# 5. 使用SVD++训练模型
svdpp = SVDpp()
svdpp.fit(trainset)

# 6. 在测试集上进行预测并评估
predictions = svdpp.test(testset)
print(f'RMSE: {accuracy.rmse(predictions)}')

# 7. 获取每个用户的Top-N推荐商家
def get_top_n(predictions, n=10):
    top_n = {}
    for uid, iid, true_r, est, _ in predictions:
        if uid not in top_n:
            top_n[uid] = []
        top_n[uid].append((iid, est))

    # 对每个用户推荐列表按照评分进行排序
    for uid, user_ratings in top_n.items():
        user_ratings.sort(key=lambda x: x[1], reverse=True)
        top_n[uid] = user_ratings[:n]

    return top_n

# 获取推荐结果
top_n = get_top_n(predictions, n=10)

# 8. 为特定用户推荐商家
user_id = 'fB3jbHi3m0L2KgGOxBv6uw'  # 替换为目标用户ID
recommended_businesses = top_n.get(user_id, [])
print(f"Top 10 recommended businesses for user {user_id}:")
for business_id, rating in recommended_businesses:
    print(f"Business ID: {business_id}, Predicted Rating: {rating}")

数据集的规模： SVD++比SVD复杂，所以如果数据集非常大，可能会需要更长时间进行训练，尤其是在计算资源有限的情况下。

运行结果

RMSE: 1.2947

RMSE: 1.2947410246403837

Top 10 recommended businesses for user fB3jbHi3m0L2KgGOxBv6uw:

使用PMF

PMF 在 Surprise 中实现为 SVD，因此我们可以直接使用 SVD 作为 PMF, 代码参见SVD

使用NMF

import pandas as pd
from surprise import Reader, Dataset, NMF
from surprise.model_selection import train_test_split
from surprise import accuracy
import json

# 1. 加载Yelp数据集
# 假设数据文件名为 'yelp_academic_dataset_review.json'
file_path = 'yelp_academic_dataset_review.json'

# 加载JSON文件到DataFrame
with open(file_path, 'r') as f:
    data = [json.loads(line) for line in f]

# 将数据转换为pandas DataFrame
df = pd.DataFrame(data)

# 2. 选择必要的字段：user_id, business_id, rating
df = df[['user_id', 'business_id', 'stars']]  # 假设评分字段是 'stars'

# 3. 数据预处理：将DataFrame转换为适合Surprise库的格式
reader = Reader(rating_scale=(1, 5))  # 假设评分是1到5
dataset = Dataset.load_from_df(df[['user_id', 'business_id', 'stars']], reader)

# 4. 划分训练集和测试集
trainset, testset = train_test_split(dataset, test_size=0.2)

# 5. 使用NMF（Non-negative Matrix Factorization）进行矩阵分解
nmf = NMF()
nmf.fit(trainset)

# 6. 在测试集上进行预测并评估
predictions = nmf.test(testset)
print(f'RMSE: {accuracy.rmse(predictions)}')

# 7. 获取每个用户的Top-N推荐商家
def get_top_n(predictions, n=10):
    top_n = {}
    for uid, iid, true_r, est, _ in predictions:
        if uid not in top_n:
            top_n[uid] = []
        top_n[uid].append((iid, est))

    # 对每个用户推荐列表按照评分进行排序
    for uid, user_ratings in top_n.items():
        user_ratings.sort(key=lambda x: x[1], reverse=True)
        top_n[uid] = user_ratings[:n]

    return top_n

# 获取推荐结果
top_n = get_top_n(predictions, n=10)

# 8. 为特定用户推荐商家
user_id = 'fB3jbHi3m0L2KgGOxBv6uw'  # 替换为目标用户ID
recommended_businesses = top_n.get(user_id, [])
print(f"Top 10 recommended businesses for user {user_id}:")
for business_id, rating in recommended_businesses:
    print(f"Business ID: {business_id}, Predicted Rating: {rating}")

NMF与SVD的区别：

  • NMF（非负矩阵分解）不同于SVD（奇异值分解），它强制矩阵的分解结果为非负值。适用于当数据有明显非负约束（例如评分数据）的情况。
  • 如果数据中包含负值，NMF可能无法正常工作，这时可以考虑使用SVD。
  • 性能问题： 如果数据集非常大，矩阵分解模型可能需要较长时间训练。可以考虑在大规模数据集上进行性能优化（例如使用并行计算或使用分布式计算框架）。

运行结果

RMSE: 1.4577

RMSE: 1.4577314669222752

Top 10 recommended businesses for user fB3jbHi3m0L2KgGOxBv6uw

相关推荐
池央4 分钟前
丹摩征文活动 | 搭建 CogVideoX-2b详细教程：用短短6秒展现创作魅力
人工智能
QYR市场调研16 分钟前
5G时代的关键元件：射频微波MLCCs市场前景广阔
人工智能
AI小白日记25 分钟前
深入探索AutoDL平台：深度学习GPU算力最佳选择
人工智能·深度学习·gpu算力
一尘之中37 分钟前
元宇宙及其技术
人工智能
电子手信42 分钟前
AI知识库在行业应用中的未来趋势与案例分析
大数据·人工智能·自然语言处理·数据挖掘
严文文-Chris2 小时前
【卷积神经网络】
人工智能·神经网络·cnn
B站计算机毕业设计超人2 小时前
计算机毕业设计Python+Neo4j中华古诗词可视化 古诗词智能问答系统 古诗词数据分析 古诗词情感分析 PyTorch Tensorflow LSTM
pytorch·python·深度学习·机器学习·知识图谱·neo4j·数据可视化
B站计算机毕业设计超人4 小时前
计算机毕业设计Python+大模型斗鱼直播可视化 直播预测 直播爬虫 直播数据分析 直播大数据 大数据毕业设计 机器学习 深度学习
爬虫·python·深度学习·机器学习·数据分析·课程设计·数据可视化
tang13897644 小时前
机器学习（基础1）
人工智能·算法·机器学习
小于小于大橙子7 小时前
视觉SLAM数学基础
人工智能·数码相机·自动化·自动驾驶·几何学
热门推荐
01聊聊 Python 中的同步原语，为什么有了 GIL 还需要同步原语02【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总03Windows10安装PCL1.14.0及点云配准04VSCode插件 —— Cody AI （免费AI助手！）05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06组基轨迹建模 GBTM的介绍与实现（Stata 或 R）07Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO08基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测09Coze扣子平台完整体验和实践（附国内和国际版对比）10C++——超强级病毒代码