机器学习·L3W2-协同过滤

推荐算法

推荐算法可以预测用户评分,并根据评分推荐数据

推荐算法与其他预测算法的区别在于:推荐算法中的数据大多都不完整,用户只对几个电影评分;而预测算法则要求数据完整,便于拟合和预测

协同过滤

评分矩阵Y,左侧索引是名称,栏目是用户名

协同过滤的基本原理就是利用已有的评分数据,对未有的评分数据进行预测,根据评分大小推荐给用户

本质上用的算法还是线性回归那套

计算公式

J ( x ( 0 ) , . . . , x ( n m − 1 ) , w ( 0 ) , b ( 0 ) , . . . , w ( n u − 1 ) , b ( n u − 1 ) ) = [ 1 2 ∑ ( i , j ) : r ( i , j ) = 1 ( w ( j ) ⋅ x ( i ) + b ( j ) − y ( i , j ) ) 2 ] + [ λ 2 ∑ j = 0 n u − 1 ∑ k = 0 n − 1 ( w k ( j ) ) 2 + λ 2 ∑ i = 0 n m − 1 ∑ k = 0 n − 1 ( x k ( i ) ) 2 ] ⏟ r e g u l a r i z a t i o n J({\mathbf{x}^{(0)},...,\mathbf{x}^{(n_m-1)},\mathbf{w}^{(0)},b^{(0)},...,\mathbf{w}^{(n_u-1)},b^{(n_u-1)}})= \left[ \frac{1}{2}\sum_{(i,j):r(i,j)=1}(\mathbf{w}^{(j)} \cdot \mathbf{x}^{(i)} + b^{(j)} - y^{(i,j)})^2 \right]+ \underbrace{\left[\frac{\lambda}{2}\sum_{j=0}^{n_u-1}\sum_{k=0}^{n-1}(\mathbf{w}^{(j)}k)^2+ \frac{\lambda}{2}\sum{i=0}^{n_m-1}\sum_{k=0}^{n-1}(\mathbf{x}k^{(i)})^2\right]}{regularization} J(x(0),...,x(nm−1),w(0),b(0),...,w(nu−1),b(nu−1))= 21(i,j):r(i,j)=1∑(w(j)⋅x(i)+b(j)−y(i,j))2 +regularization [2λj=0∑nu−1k=0∑n−1(wk(j))2+2λi=0∑nm−1k=0∑n−1(xk(i))2]

The first summation in (1) is "for all i i i, j j j where r ( i , j ) r(i,j) r(i,j) equals 1 1 1" and could be written:

= [ 1 2 ∑ j = 0 n u − 1 ∑ i = 0 n m − 1 r ( i , j ) ∗ ( w ( j ) ⋅ x ( i ) + b ( j ) − y ( i , j ) ) 2 ] + regularization = \left[ \frac{1}{2}\sum_{j=0}^{n_u-1} \sum_{i=0}^{n_m-1}r(i,j)*(\mathbf{w}^{(j)} \cdot \mathbf{x}^{(i)} + b^{(j)} - y^{(i,j)})^2 \right] +\text{regularization} =[21j=0∑nu−1i=0∑nm−1r(i,j)∗(w(j)⋅x(i)+b(j)−y(i,j))2]+regularization

代码

本质上就是一个矩阵的运算,利用np.sum()化简代码

自定义计算函数cofi_cost_func_v

python 复制代码
def cofi_cost_func_v(X, W, b, Y, R, lambda_):
    """
    Returns the cost for the content-based filtering
    Vectorized for speed. Uses tensorflow operations to be compatible with custom training loop.
    Args:
      X (ndarray (num_movies,num_features)): matrix of item features
      W (ndarray (num_users,num_features)) : matrix of user parameters
      b (ndarray (1, num_users)            : vector of user parameters
      Y (ndarray (num_movies,num_users)    : matrix of user ratings of movies
      R (ndarray (num_movies,num_users)    : matrix, where R(i, j) = 1 if the i-th movies was rated by the j-th user
      lambda_ (float): regularization parameter
    Returns:
      J (float) : Cost
    """
    j = (tf.linalg.matmul(X, tf.transpose(W)) + b - Y)*R
    J = 0.5 * tf.reduce_sum(j**2) + (lambda_/2) * (tf.reduce_sum(X**2) + tf.reduce_sum(W**2))
    return J

利用tensorflow求导

python 复制代码
iterations = 200
lambda_ = 1
for iter in range(iterations):
    with tf.GradientTape() as tape:

        cost_value = cofi_cost_func_v(X, W, b, Y, R, lambda_)


    grads = tape.gradient( cost_value, [X,W,b] )

    optimizer.apply_gradients( zip(grads, [X,W,b]) )

    if iter % 5 == 0:
        print(f"Training loss at iteration {iter}: {cost_value:0.1f}")

预测变量

  • 矩阵乘法:y_pred=X@W.T+b
  • 合并原始数据:Y_res=R*Y+(1-R)*y_pred

预测二进制变量

原来的 f ( w , b , x ) → f = s i g m o i d ( z ) f(w,b,x)\to f=sigmoid(z) f(w,b,x)→f=sigmoid(z)函数

损失函数改为交叉熵即可!

技巧:平均值正常化

模型评估

  • 不适合冷启动问题
  • 需要额外的信息,很难解释这些额外的信息的含义
  • 梯度下降速度极慢,参数太多
相关推荐
芷栀夏1 分钟前
基于Anything LLM的本地知识库系统远程访问实现路径
数据库·人工智能
AI生存日记1 分钟前
AI 日报:阿里、字节等企业密集发布新技术,覆盖语音、图像与药物研发等领域
人工智能·华为云·语音识别·open ai大模型
小庞在加油2 分钟前
《dlib库中的聚类》算法详解:从原理到实践
c++·算法·机器学习·数据挖掘·聚类
hjs_deeplearning21 分钟前
认知篇#10:何为分布式与多智能体?二者联系?
人工智能·分布式·深度学习·学习·agent·智能体
kngines44 分钟前
【字节跳动】数据挖掘面试题0001:打车场景下POI与ODR空间关联查询
人工智能·数据挖掘·面试题
蓝婷儿2 小时前
Python 机器学习核心入门与实战进阶 Day 1 - 分类 vs 回归
python·机器学习·分类
.30-06Springfield3 小时前
利用人名语言分类案例演示RNN、LSTM和GRU的区别(基于PyTorch)
人工智能·pytorch·python·rnn·分类·gru·lstm
程序员阿超的博客4 小时前
Python 数据分析与机器学习入门 (八):用 Scikit-Learn 跑通第一个机器学习模型
python·机器学习·数据分析·scikit-learn·入门教程·python教程
xingshanchang5 小时前
PyTorch 不支持旧GPU的异常状态与解决方案:CUDNN_STATUS_NOT_SUPPORTED_ARCH_MISMATCH
人工智能·pytorch·python
reddingtons6 小时前
Adobe Firefly AI驱动设计:实用技巧与创新思维路径
大数据·人工智能·adobe·illustrator·photoshop·premiere·indesign