python 综合练习

条件:ML100k.data

注意 :程序对列表进行修改,为避免列表索引出现问题,避免使用for i in range(len(data)),而使用 for i in data可避免这一问题

python 复制代码
import pickle
data = []
with open("ML100k.data", 'r') as file:
    for line in file:
        data.append([int(item) for item in line.strip('\n').split('\t')])

user_dict = {}
film_dict = {}
for i in data:
    user = i[0]
    film = i[1]

    if user not in user_dict:
        user_dict[user] = [i]
    else:
        user_dict[user].append(i)
    if film not in film_dict:
        film_dict[film] = [i]
    else:
        film_dict[film].append(i)
#  删掉不活跃用户、冷门电影
for user in user_dict:
    if len(user_dict[user]) < 5:
        for _ in data:
            if _ in user_dict[user]:
                data.remove(_)
for film in film_dict:
    if len(film_dict[film]) < 5:
        for _ in data:
            if _ in film_dict[film]:
                data.remove(_)
# 统计用户数量user_num、电影数量item_num、评分数量rating_num
user_sum = {}
item_sum = {}
for i in data:
    user = i[0]
    item = i[1]
    if user not in user_sum:
        user_sum[user] = [i]
    else:
        user_sum[user].append(i)
    if item not in item_sum:
        item_sum[item] = [i]
    else:
        item_sum[item].append(i)
print(len(user_sum))
print(len(item_sum))
print(len(data))

#  计算稀疏度
sparsity = len(data)/(len(user_sum)*len(item_sum))
print(sparsity)

#  统计每个用户的平均评分user_average、每部电影的平均评分item_average、以及全部评分的平均评分global_average.
user_average = []
item_average = []
sorted_user = list(user_sum.keys())
sorted_item = list(item_sum.keys())
sorted_item.sort()
sorted_user.sort()
for user in sorted_user:
    user_average.append(sum(user_sum[user][2])/len(user_sum[user]))
for item in sorted_item:
    item_average.append(sum(item_sum[item][2])/len(item_sum[item]))
#  print(user_average)
#  print(item_average)

#  统计所有评分中1~5的分布情况rating_num
rating_num = [0, 0, 0, 0, 0]
for i in data:
    rating = i[2]
    rating_num[rating-1] += 1
print(rating_num)

# 将用户和电影分别从0开始标号,使得用户的最大编号为user_sum-1,电影最大编号为item_sum-1
user_num = {}
item_num = {}
count1, count2 = 0, 0
for i in data:
    user = i[0]
    item = i[1]
    if user not in user_num:
        user_num[user] = count1
        count1 += 1
    if item not in item_num:
        item_num[item] = count2
        count2 += 1
    i[0] = user_num[user]
    i[1] = item_num[item]
相关推荐
嘉陵妹妹4 分钟前
深度优先算法学习
学习·算法·深度优先
老胖闲聊22 分钟前
Python Rio 【图像处理】库简介
开发语言·图像处理·python
GalaxyPokemon33 分钟前
LeetCode - 53. 最大子数组和
算法·leetcode·职场和发展
码界奇点42 分钟前
Python Flask文件处理与异常处理实战指南
开发语言·python·自然语言处理·flask·python3.11
浠寒AI1 小时前
智能体模式篇(上)- 深入 ReAct:LangGraph构建能自主思考与行动的 AI
人工智能·python
hn小菜鸡1 小时前
LeetCode 1356.根据数字二进制下1的数目排序
数据结构·算法·leetcode
zhuiQiuMX1 小时前
分享今天做的力扣SQL题
sql·算法·leetcode
行云流水剑2 小时前
【学习记录】如何使用 Python 提取 PDF 文件中的内容
python·学习·pdf
music&movie2 小时前
算法工程师认知水平要求总结
人工智能·算法
心扬3 小时前
python生成器
开发语言·python