python 综合练习

条件:ML100k.data

注意 :程序对列表进行修改,为避免列表索引出现问题,避免使用for i in range(len(data)),而使用 for i in data可避免这一问题

python 复制代码
import pickle
data = []
with open("ML100k.data", 'r') as file:
    for line in file:
        data.append([int(item) for item in line.strip('\n').split('\t')])

user_dict = {}
film_dict = {}
for i in data:
    user = i[0]
    film = i[1]

    if user not in user_dict:
        user_dict[user] = [i]
    else:
        user_dict[user].append(i)
    if film not in film_dict:
        film_dict[film] = [i]
    else:
        film_dict[film].append(i)
#  删掉不活跃用户、冷门电影
for user in user_dict:
    if len(user_dict[user]) < 5:
        for _ in data:
            if _ in user_dict[user]:
                data.remove(_)
for film in film_dict:
    if len(film_dict[film]) < 5:
        for _ in data:
            if _ in film_dict[film]:
                data.remove(_)
# 统计用户数量user_num、电影数量item_num、评分数量rating_num
user_sum = {}
item_sum = {}
for i in data:
    user = i[0]
    item = i[1]
    if user not in user_sum:
        user_sum[user] = [i]
    else:
        user_sum[user].append(i)
    if item not in item_sum:
        item_sum[item] = [i]
    else:
        item_sum[item].append(i)
print(len(user_sum))
print(len(item_sum))
print(len(data))

#  计算稀疏度
sparsity = len(data)/(len(user_sum)*len(item_sum))
print(sparsity)

#  统计每个用户的平均评分user_average、每部电影的平均评分item_average、以及全部评分的平均评分global_average.
user_average = []
item_average = []
sorted_user = list(user_sum.keys())
sorted_item = list(item_sum.keys())
sorted_item.sort()
sorted_user.sort()
for user in sorted_user:
    user_average.append(sum(user_sum[user][2])/len(user_sum[user]))
for item in sorted_item:
    item_average.append(sum(item_sum[item][2])/len(item_sum[item]))
#  print(user_average)
#  print(item_average)

#  统计所有评分中1~5的分布情况rating_num
rating_num = [0, 0, 0, 0, 0]
for i in data:
    rating = i[2]
    rating_num[rating-1] += 1
print(rating_num)

# 将用户和电影分别从0开始标号,使得用户的最大编号为user_sum-1,电影最大编号为item_sum-1
user_num = {}
item_num = {}
count1, count2 = 0, 0
for i in data:
    user = i[0]
    item = i[1]
    if user not in user_num:
        user_num[user] = count1
        count1 += 1
    if item not in item_num:
        item_num[item] = count2
        count2 += 1
    i[0] = user_num[user]
    i[1] = item_num[item]
相关推荐
花果山总钻风10 分钟前
SQLAlchemy 中的 func 函数使用指南
python
知识中的海王23 分钟前
Python html 库用法详解
开发语言·python
面朝大海,春不暖,花不开40 分钟前
使用 Python 正则表达式实现文本替换与电话号码规范化
python·mysql·正则表达式
淘小白_TXB219640 分钟前
Python网页自动化Selenium中文文档
python·selenium·自动化·网页自动化
jndingxin1 小时前
OpenCV CUDA模块光流计算-----实现Farneback光流算法的类cv::cuda::FarnebackOpticalFlow
人工智能·opencv·算法
Clair-Sean1 小时前
【JavaSE】多线程基础学习笔记
笔记·python·学习
编程绿豆侠1 小时前
力扣HOT100之栈:394. 字符串解码
java·算法·leetcode
朝朝又沐沐1 小时前
基于算法竞赛的c++编程(18)string类细节问题
开发语言·c++·算法
爱coding的橙子2 小时前
每日算法刷题Day27 6.9:leetcode二分答案2道题,用时1h20min
算法·leetcode·职场和发展
GalaxyPokemon2 小时前
LeetCode - 3. 无重复字符的最长子串
算法·哈希算法·散列表