一、数据来源
数据网址 http://grouplens.org/datasets/movielens/
数据集包含3个文件，文件中包含电影信息表，评分用户信息，评分信息。
二、数据加载
python
import pandas as pd
import matplotlib.pyplot as plt
#支持中文显示
plt.rcParams['font.family']='Kaiti'
# 使用非unicode的负号，当使用中文时候要设置
plt.rcParams['axes.unicode_minus']=False加载用户信息 user id | age | gender | occupation | zip code
python
user_names=['user_id' , 'age' , 'gender' , 'occupation' , 'zip_code']
user_df=pd.read_table('./ml-100k/u.user',sep='|',names=user_names)
user_df加载电影信息 movie id | movie title | release date | video release date | IMDb URL
python
movie_names=['movie_id', 'movie_title' , 'release_date' , 'video_release','date' , 'IMDb_URL' ]
movie_df=pd.read_table('./ml-100k/u.item',sep='|',names=movie_names,encoding='iso8859-1',usecols=range(6))
movie_df加载评分信息 user id | item id | rating | timestamp
python
data_names=['user_id' , 'item_id' , 'rating' , 'timestamp' ]
data_df=pd.read_table('./ml-100k/u.data',sep='\t',names=data_names)
data_df数据合并
python
user_data_df=pd.merge(user_df,data_df)
all_df=pd.merge(user_data_df,movie_df,left_on='item_id',right_on='movie_id')
all_df三、数据清洗
把不需要的列删除
python
all_df.drop(columns=['item_id'],inplace=True)查看有无缺失值
python
all_df.info()
思考缺失值对数据的影响，对缺失值进行操作
python
all_df.drop(columns=['video_release'],inplace=True)或
python
all_df.dropna(axis=1,how='all',inplace=True)查看是否有异常值
python
all_df.describe()
查看是否有重复值
python
all_df.duplicated(subset=['user_id','movie_id']).any()四、数据分析
查看性别对于观看电影是否有影响
python
all_df['gender'].value_counts().plot(kind='pie',autopct='%.2f%%')
获取评分次数最多的前10部电影
python
all_df['movie_title'].value_counts().sort_values(ascending=False).head(10)或
python
all_df.groupby('movie_title')['movie_title'].count().sort_values(ascending=False).head(10)
python
all_df.groupby('movie_title')['movie_title'].count().sort_values(ascending=False).head(10).plot(kind='bar')
获取评分最高的前10部电影
python
all_df.groupby('movie_title')['rating'].mean().sort_values(ascending=False).head(10)或
python
all_df.groupby('movie_title').agg({'rating':'mean'})['rating'].sort_values(ascending=False).head(10)因思考到有些电影观看人数较为稀少，通过某一人偏爱，导致分值较高，导致数据不准确，添加人数限制，以求数据相对准确
python
all_100=all_df.groupby('movie_title')['rating'].agg(['mean','count'])['count']>100
all_df.groupby('movie_title')['rating'].agg(['mean','count'])[all_100].sort_values(by=['mean','count'],ascending=False).head(10)
python
all_df.groupby('movie_title')['rating'].agg(['mean','count'])[all_100].sort_values(by=['mean','count'],ascending=False).head(10).plot(kind='bar',y='count')
不同年龄段对某部电影的评分
查看年龄描述分布
python
all_df['age'].describe()
对年龄进行直方分布
python
all_df['age'].plot(kind='hist',bins=20)
对年龄进行分组，每十岁分为一组
python
age_bins = np.arange(0,81,10)
pd.cut(all_df['age'],bins=age_bins,right=False)添加新的标签列，查看该所属年龄属于哪个区间
python
all_df['age_group']=pd.cut(all_df['age'],bins=age_bins,right=False)对年龄区间进行分组，查看该年龄段对电影评分的平均值和评分数量
python
all_df.groupby('age_group')['rating'].agg(['mean','count'])
对电影名称和年龄区间进行分组，计算出评分的平均值，然后进行列重组，将空值填充为0
python
all_df.groupby(['movie_title','age_group'])['rating'].mean().unstack().fillna(0)
获取评分次数top100电影的id
python
args=all_df['movie_id'].value_counts().sort_values(ascending=False).head(100)查看 电影id有没有在前100里面
python
all_df[all_df['movie_id'].isin(args.index)]对电影标题和年龄区间进行分组 ，然后对电影评分如上操作
python
all_df[all_df['movie_id'].isin(args.index)].groupby(['movie_title','age_group'])['rating'].mean().unstack().fillna(0)通过索引筛选 不同年龄段对某部电影的评分
python
all_df.set_index('movie_id').loc[args.index].groupby(['movie_title','age_group'],observed=False)['rating'].mean().unstack().fillna(0)