推荐算法实践：交叉特征的理解

1.困惑之源

半年前第一次做推荐算法，无意中碰到了一个问题，我使用LR模型对用户和商品进行联合打分，其中使用了所谓的交叉特征，这个问题思考了大半年终于有了一些思路。

问题是这样的，我统计了不同用户在不同类目上的点击率，以此作为所谓的交叉特征，并且将点击率做了一个线上表，当用户请求时，直接查询用户历史所有的类目偏好。其中 $u\; c\; uc$uc表示用户（user）和类目（cate）的交叉特征，这里为点击率，下标表示用户id和类目id

用户	数码	女装	美妆
$u\; 1\; u\_1$u1	$u\; c\; 11\; uc\_\{11\}$uc11	$u\; c\; 12\; uc\_\{12\}$uc12	$u\; c\; 13\; uc\_\{13\}$uc13
$u\; 2\; u\_2$u2	$u\; c\; 21\; uc\_\{21\}$uc21	$u\; c\; 22\; uc\_\{22\}$uc22	$u\; c\; 23\; uc\_\{23\}$uc23
$u\; 3\; u\_3$u3	$u\; c\; 31\; uc\_\{31\}$uc31	$u\; c\; 32\; uc\_\{32\}$uc32	$u\; c\; 33\; uc\_\{33\}$uc33
$u\; 4\; u\_4$u4	$u\; c\; 41\; uc\_\{41\}$uc41	$u\; c\; 42\; uc\_\{42\}$uc42	$u\; c\; 43\; uc\_\{43\}$uc43

但是受到了其他同事的质疑，他说交叉特征是确定某个用户和某个类目之后，再去确定的某一个特征，例如在我们针对用户 $u\; 1\; u\_1$u1推送了类目 $c\; 3\; c\_3$c3，此时可以确定一个交叉特征 $u\; c\; 13\; uc\_\{13\}$uc13，这一个特征才是交叉特征。我觉得非常奇怪，为什么不可以把用户所有类目的偏好放到LR模型中呢？

2.特征处理

我将特征分层了三个部分

1. 用户特征，包括用户性别，登陆次数，RFM等
2. 商品特征，包括商品是否包邮，商品价格，商品类目等
3. 交叉特征，这里主要用户和类目的交叉

为了简单，假设这里用户特征只有性别，商品特征只有类目，交叉特征就是性别和类目，由于都是离散特征，需要做onehot编码

类目	$c\; 1\; c\_1$c1	$c\; 2\; c\_2$c2	$c\; 3\; c\_3$c3
数码	1	0	0
女装	0	1	0
美妆	0	0	1

性别	$s\; 1\; s\_1$s1	$s\; 2\; s\_2$s2
男	1	0
女	0	1

性别x类目	$s\; 1\; c\; 1\; s\_1c\_1$s1c1	$s\; 1\; c\; 2\; s\_1c\_2$s1c2	$s\; 1\; c\; 3\; s\_1c\_3$s1c3	$s\; 2\; c\; 1\; s\_2c\_1$s2c1	$s\; 2\; c\; 2\; s\_2c\_2$s2c2	$s\; 2\; c\; 3\; s\_2c\_3$s2c3
男x数码	1	0	0	0	0	0
男x女装	0	1	0	0	0	0
男x美妆	0	0	1	0	0	0
女x数码	0	0	0	1	0	0
女x女装	0	0	0	0	1	0
女x美妆	0	0	0	0	0	1

3. LR模型

我之前最熟悉的是LR模型，可解释性强，有大规模训练库，并且可以快速上线。特征处理好之后就可以直接输入到LR模型之中了
$$y\; =\; \sigma \; (\; x\; )\; =\; 1\; 1\; +\; e\; -\; \sum \; w\; i\; x\; i\; y=\backslash sigma(x)=\backslash frac\{1\}\{1+e^\{-\backslash sum\; w\_ix\_i\}\}$$y=σ(x)=1+e−∑wixi1

做一个非常有趣的变换
$$f\; (\; y\; )\; =\; l\; n\; (\; y\; 1\; -\; y\; )\; =\; \sum \; w\; i\; x\; i\; f(y)=ln(\backslash frac\{y\}\{1-y\})=\backslash sum\; w\_ix\_i$$f(y)=ln(1−yy)=∑wixi

为什么做这个变换呢？我们知道推荐系统的目标是排序，预测概率是为排序服务的，例如我们有两个物品 $i\; 1\; ,\; i\; 2\; i\_1,i\_2$i1,i2，如果有 $y\; 1\; >\; y\; 2\; y\_1>y\_2$y1>y2，那么给用户推荐商品的时候就是先推 $i\; 1\; i\_1$i1，然后再推 $i\; 2\; i\_2$i2，这个没有任何问题。有趣的地方来了，如果 $y\; 1\; >\; y\; 2\; y\_1>y\_2$y1>y2， $f\; (\; y\; 1\; )\; f(y\_1)$f(y1)和 $f\; (\; y\; 2\; )\; f(y\_2)$f(y2)的大小关系是什么呢？
f(y1)−f(y2)=ln(1−y1y1)−ln(1−y2y2)=ln(y2−y1y2y1−y1y2)>0

所以当 $y\; 1\; >\; y\; 2\; y\_1>y\_2$y1>y2时，有 $f\; (\; y\; 1\; )\; >\; f\; (\; y\; 2\; )\; f(y\_1)>f(y\_2)$f(y1)>f(y2)，函数变换之后并不会影响大小顺序。这样做有什么好处呢？原本我们需要去计算 $\sigma \; (\; x\; )\; \backslash sigma(x)$σ(x)，然后去比较概率大小，现在我们直接计算 $\sum \; w\; x\; \backslash sum\; wx$∑wx后排序就可以了，最重要的是线性函数有更强的可解释性。 之后可以将特征进行分组，例如分为用户特征，商品特征，交叉特征等等，可以写成
$$\sum \; w\; i\; x\; i\; =\; \sum \; w\; j\; x\; j\; +\; \sum \; w\; k\; x\; k\; +\; .\; .\; .\; \backslash sum\; w\_ix\_i=\backslash sum\; w\_jx\_j+\backslash sum\; w\_kx\_k\; +...$$∑wixi=∑wjxj+∑wkxk+...

3.无交叉特征

特征现在有性别和类目，我们先不使用交叉特征直接训练一个LR模型试试。
$$f\; u\; (\; i\; )\; =\; w\; s\; 1\; \ast \; s\; 1\; +\; w\; s\; 2\; \ast \; s\; 2\; ‾\; +\; w\; c\; 1\; \ast \; c\; 1\; +\; w\; c\; 2\; \ast \; c\; 2\; +\; w\; c\; 3\; \ast \; c\; 3\; ‾\; \backslash begin\{aligned\}\; f\_u(i)=\backslash underline\{w\_\{s1\}*s\_1+w\_\{s2\}*s\_2\}\; +\backslash underline\{\{w\_\{c1\}*c\_1+w\_\{c2\}*c\_2\}+w\_\{c3\}*c\_3\}\; \backslash end\{aligned\}$$fu(i)=ws1∗s1+ws2∗s2+wc1∗c1+wc2∗c2+wc3∗c3

用户对某物品的点击概率 = 「用户本身的点击倾向」 + 「物品本身的被点击潜力」
当模型训练完成之后，各个维度的权重就固定下来了。针对不同的用户，相同类目的权重是一样的，没有任何差异性

假如有一个用户 $u\; 1\; u\_1$u1，有三个待推荐的商品，分别属于三个类目 $i\; 1\; :\; c\; 1\; =\; 1\; ,\; i\; 2\; :\; c\; 2\; =\; 1\; ,\; i\; 3\; :\; c\; 3\; =\; 1\; i\_1:c\_1=1,i\_2:c\_2=1,i\_3:c\_3=1$i1:c1=1,i2:c2=1,i3:c3=1。我们首先对用户 $u\; 1\; u\_1$u1推荐商品，
i∗=argmax(f(u1,i1),f(u1,i2),f(u1,i3))=argmax(ctru1+ctri1,ctru1+ctri2,ctru1+ctri3)=argmax(ws1+wc1,ws1+wc2,ws1+wc3)=argmax(wc1,wc2,wc3)

因为是同一个用户，所以 $c\; t\; r\; u\; 1\; =\; w\; s\; x\; ctr\_\{u1\}=w\_\{sx\}$ctru1=wsx的值都是相同的，可以都去掉，最后发现排序的结果竟然只与商品的权重有关。这就会有一个非常严重的问题，我们的模型没有个性化的能力，什么意思呢？假如现在我们要对用户 $u\; 2\; u\_2$u2推荐商品，
i∗=argmax(f(u2,i1),f(u2,i2),f(u2,i3))=argmax(ctru2+ctri1,ctru2+ctri2,ctru2+ctri3)=argmax(ws2+wc1,ws2+wc2,ws2+wc3)=argmax(wc1,wc2,wc3)

换了一个用户，竟然排序结果没有发生任何变化，依然只与商品的特征相关。推荐系统最重要的就是个性化，根据用户信息给出推荐，而这里得到的结论却是与用户特征无关，本质就是没有使用交叉特征的原因。

4. 全类目统计特征

回到最开始的问题，我将用户所有类目的偏好都作为输入，到底是不是交叉特征，同样看一下简单的推导
fu(i)=ws1∗s1+ws2∗s2+wp1∗pu(1)+wp2∗pu(2)+wp3∗pu(3)+wc1∗c1+wc2∗c2+wc3∗c3=ctruser+ctrprefer+ctritem

其中 $p\; u\; (\; i\; )\; p\_u(i)$pu(i)是用户在每个类目上的点击率。我们可以统计用户近一年内在不同类目上的点击率，然后存储成一个表，

统计值T	$c\; 1\; c\_1$c1	$c\; 2\; c\_2$c2	$c\; 3\; c\_3$c3
$u\; 1\; u\_1$u1	$p\; 1\; (\; 1\; )\; p\_1(1)$p1(1)	$p\; 1\; (\; 2\; )\; p\_1(2)$p1(2)	$p\; 1\; (\; 3\; )\; p\_1(3)$p1(3)
$u\; 2\; u\_2$u2	$p\; 2\; (\; 1\; )\; p\_2(1)$p2(1)	$p\; u\; (\; i\; )\; p\_u(i)$pu(i)	...

对每个用户来说，这三个值都是固定的。
i∗=argmax(f(u1,i1),f(u1,i2),f(u1,i3))=argmax(ctruser+ctrp+ctri1,ctruser+ctrp+ctri2,ctruser+ctrp+ctri3)=ctruser+ctrprefer+argmax(ctri1,ctri2,ctri3)=argmax(ctri1,ctri2,ctri3)=argmax(wc1,wc2,wc3)

其中 $c\; t\; r\; p\; =\; \sum \; w\; p\; \ast \; p\; u\; (\; c\; )\; ctr\_\{p\}=\backslash sum\; w\_\{p\}*p\_u(c)$ctrp=∑wp∗pu(c)，针对同一个用户 $p\; u\; (\; c\; )\; p\_u(c)$pu(c)是相同的，同一个模型权重偏好是相同的 即使增加了用户在不同类目上的统计特征，依然只与商品特征有关系，与用户特征没有任何关系，并没有得到我们期望的交叉特征的效果。其实当时我列出这个式子的时候，就大致发现问题所在了，我希望的是当给用户推荐商品 $i\; =\; 1\; i=1$i=1的时候，只有 $p\; (\; 1\; )\; p(1)$p(1)是激活的，其他的值都应该是0，但是这里不管输入什么商品，所有类目偏好都是激活的，这就会导致 $c\; t\; r\; p\; r\; e\; f\; e\; r\; ctr\_\{prefer\}$ctrprefer不会改变。

5.单类目统计特征

回想之前师兄给我讲的是，交叉特征是确定用户和商品之后唯一确定的，需要单独将每个每个类目的统计值取出来，例如针对用户u1，我们给商品 $i\; 1\; i\_1$i1打分的时候，只将与 $i\; 1\; i\_1$i1有关的偏好特征筛选出来即可，其他的偏好值为0，这个很简单，直接修改 $c\; t\; r\; p\; r\; e\; f\; e\; r\; ctr\_\{prefer\}$ctrprefer为
$$c\; t\; r\; p\; r\; e\; f\; e\; r\; =\; w\; p\; \ast \; p\; u\; (\; i\; )\; ctr\_\{prefer\}=w\_\{p\}*p\_u(i)$$ctrprefer=wp∗pu(i)

原来的式子变成
fu(i)=ws1∗s1+ws2∗s2+wp∗pu(i)+wc1∗c1+wc2∗c2+wc3∗c3

同样针对用户 $u\; 1\; u\_1$u1，分别对商品进行打分
$$f\; (\; u\; 1\; ,\; i\; 1\; )\; =\; w\; s\; 1\; ‾\; +\; w\; p\; \ast \; p\; 1\; (\; 1\; )\; ‾\; +\; w\; c\; 1\; ‾\; f\; (\; u\; 1\; ,\; i\; 2\; )\; =\; w\; s\; 1\; ‾\; +\; w\; p\; \ast \; p\; 1\; (\; 2\; )\; ‾\; +\; w\; c\; 2\; ‾\; f\; (\; u\; 1\; ,\; i\; 3\; )\; =\; w\; s\; 1\; ‾\; +\; w\; p\; \ast \; p\; 1\; (\; 3\; )\; ‾\; +\; w\; c\; 3\; ‾\; f(u\_1,i\_1)=\backslash underline\{w\_\{s1\}\}\; +\backslash underline\{w\_\{p\}*p\_1(1)\}+\backslash underline\{w\_\{c1\}\}\backslash \backslash \; f(u\_1,i\_2)=\backslash underline\{w\_\{s1\}\}\; +\backslash underline\{w\_\{p\}*p\_1(2)\}+\backslash underline\{w\_\{c2\}\}\backslash \backslash \; f(u\_1,i\_3)=\backslash underline\{w\_\{s1\}\}\; +\backslash underline\{w\_\{p\}*p\_1(3)\}+\backslash underline\{w\_\{c3\}\}$$f(u1,i1)=ws1+wp∗p1(1)+wc1f(u1,i2)=ws1+wp∗p1(2)+wc2f(u1,i3)=ws1+wp∗p1(3)+wc3

然后我们进行排序筛选
i∗=argmax(f(u1,i1),f(u1,i2),f(u1,i3))=argmax(ws1+wp∗p1(1)+wc1,ws1+wp∗p1(2)+wc2,ws1+wp∗p1(3)+wc3)=ws1+argmax(wp∗p1(1)+wc1,wp∗p1(2)+wc2,wp∗p1(3)+wc3)=argmax(wp∗p1(1)+wc1,wp∗p1(2)+wc2,wp∗p1(3)+wc3)

如果针对用户 $u\; 2\; u\_2$u2打分的话
$$i\; \ast \; =\; a\; r\; g\; m\; a\; x\; (\; w\; p\; \ast \; p\; 2\; (\; 1\; )\; +\; w\; c\; 1\; ,\; w\; p\; \ast \; p\; 2\; (\; 2\; )\; +\; w\; c\; 2\; ,\; w\; p\; \ast \; p\; 2\; (\; 3\; )\; +\; w\; c\; 3\; )\; i^*=argmax(w\_\{p\}*p\_2(1)+w\_\{c1\},w\_\{p\}*p\_2(2)+w\_\{c2\},w\_\{p\}*p\_2(3)+w\_\{c3\})$$i∗=argmax(wp∗p2(1)+wc1,wp∗p2(2)+wc2,wp∗p2(3)+wc3)

这回好像就是我们想要的结果了，每个商品中，除了商品自身特征贡献的ctr之外，还包含了用户在每个类目上的点击率，并且不同用户的点击率是不同的，也体现出了个性化。 对上式再次进行一次变换，都除以 $w\; p\; w\_p$wp，不会改变排序
i∗=argmax(pu(1)+wpwc1,pu(2)+wpwc1,pu(3)+wpwc1)=argmax(pu(1)+wc1∗,pu(2)+wc2∗,pu(3)+wc3∗)

这个式子可以说明一个问题，我们直接引入的统计值（最好归一化，否则系数 $w\; p\; w\_p$wp会很大），对商品排序有极大的影响，当我们直接使用 $c\; t\; r\; ctr$ctr作为统计值的时候，有很强的可解释性。 $p\; u\; (\; i\; )\; p\_u(i)$pu(i)可以认为是用户在这个类目上点击率的基准值，通过模型的学习，得到一个校准值 $w\; c\; i\; \ast \; w\_\{ci\}^\{*\}$wci∗，两者之间的加和即位整体的ctr预估值。 这种人工构建的交叉特征，一般情况下主要也是用来加权。

6.交叉特征

上面研究了人工构建的交叉特征，现在考虑一下模型构建交叉特征，也就是最为常规的交叉特征。回去看2的特征处理，里面有一个【性别x类目】的交叉特征，也是一个onehot编码，我们只看交叉特征对ctr的贡献
$$c\; t\; r\; p\; r\; e\; f\; e\; r\; =\; w\; 11\; \ast \; s\; 1\; c\; 1\; +\; w\; 12\; \ast \; s\; 1\; c\; 2\; +\; w\; 13\; \ast \; s\; 1\; c\; 3\; +\; w\; 21\; \ast \; s\; 2\; c\; 1\; +\; w\; 22\; \ast \; s\; 2\; c\; 2\; +\; w\; 23\; \ast \; s\; 2\; c\; 3\; \backslash begin\{aligned\}\; ctr\_\{prefer\}=w\_\{11\}*s\_1c\_1+w\_\{12\}*s\_1c\_2+w\_\{13\}*s\_1c\_3+w\_\{21\}*s\_2c\_1+w\_\{22\}*s\_2c\_2+w\_\{23\}*s\_2c\_3\; \backslash end\{aligned\}$$ctrprefer=w11∗s1c1+w12∗s1c2+w13∗s1c3+w21∗s2c1+w22∗s2c2+w23∗s2c3

当我们对用户 $u\; 1\; u\_1$u1推送商品 $i\; 1\; i\_1$i1时，有 $s\; 1\; =\; 1\; ,\; s\; 1\; c\; 1\; =\; 1\; s\_1=1,s\_1c\_1=1$s1=1,s1c1=1， $f\; 1\; (\; 1\; )\; =\; w\; 11\; f\_1(1)=w\_\{11\}$f1(1)=w11

同理，推送商品 $i\; 2\; ,\; i\; 3\; i\_2,i\_3$i2,i3时，有 $f\; 1\; (\; 2\; )\; =\; w\; 12\; f\_1(2)=w\_\{12\}$f1(2)=w12， $f\; 1\; (\; 3\; )\; =\; w\; 13\; f\_1(3)=w\_\{13\}$f1(3)=w13 对商品进行排序后有 $i\; \ast \; =\; a\; r\; g\; m\; a\; x\; (\; w\; 11\; +\; w\; c\; 1\; ,\; w\; 12\; +\; w\; c\; 2\; ,\; w\; 13\; +\; w\; c\; 3\; )\; i^*=argmax(w\_\{11\}+w\_\{c1\},w\_\{12\}+w\_\{c2\},w\_\{13\}+w\_\{c3\})$i∗=argmax(w11+wc1,w12+wc2,w13+wc3) 当我们对用户 $u\; 2\; u\_2$u2推送商品时有 $i\; \ast \; =\; a\; r\; g\; m\; a\; x\; (\; w\; 21\; +\; w\; c\; 1\; ,\; w\; c\; 2\; +\; w\; 22\; ,\; w\; 23\; +\; w\; c\; 3\; )\; i^*=argmax(w\_\{21\}+w\_\{c1\},w\_\{c2\}+w\_\{22\},w\_\{23\}+w\_\{c3\})$i∗=argmax(w21+wc1,wc2+w22,w23+wc3) 我们将手动构建的交叉特征进行比对
i∗i∗=argmax(wu(1)+wc1,wu(2)+wc2,wu(3)+wc3)=argmax(pu(1)+wc1,pu(2)+wc2,pu(3)+wc3)

其中 $w\; u\; (\; i\; )\; w\_u(i)$wu(i)是模型学习到的交叉特征的权重， $p\; u\; (\; i\; )\; p\_u(i)$pu(i)是人工构建的交叉特征统计值，他们两个在LR模型中的形式一模一样，只是值是不同的，也就是说模型可以学习到手工构建的特征值。

7.隐式特征交叉

模型可以自动训练出人工构建的交叉特征权重值，但是依然有两个问题

1. 交叉特征需要用户手动指定
2. 特征维度膨胀，M维特征和N维特征交叉之后会得到MxN维新特征
3. 交叉特征稀疏，交叉特征本身就是onehot编码，只有一个值为1，其他都是0

这世界上真的有天才，FM可以自动完成所有的特征交叉，无需用户指定，并且不会产生维度膨胀。不可思议，真的不可思议。我们本身要得到的不是交叉特征，而是交叉特征前的权重，如果想要得到权重，需要单独生成一列特征，模型训练之后会得到这个特征的权重。首先看一下一个样本是如何变化的 样本1:用户 $u\; 1\; u\_1$u1，推送商品 $i\; 1\; i\_1$i1，用户特征有性别【男】，商品特征有类目【数码】

性别	类目
男	数码

然后我们将这条朴实无华的样本进行onehot编码得到正常的样本格式

$s\; 1\; s\_1$s1	$s\; 2\; s\_2$s2	$c\; 1\; c\_1$c1	$c\; 2\; c\_2$c2	$c\; 3\; c\_3$c3
1	0	1	0	0

然后增加性别和类目的交叉特征

$s\; 1\; s\_1$s1	$s\; 2\; s\_2$s2	$c\; 1\; c\_1$c1	$c\; 2\; c\_2$c2	$c\; 3\; c\_3$c3	$s\; 1\; c\; 1\; s\_1c\_1$s1c1	$s\; 1\; c\; 2\; s\_1c\_2$s1c2	$s\; 1\; c\; 3\; s\_1c\_3$s1c3	$s\; 2\; c\; 1\; s\_2c\_1$s2c1	$s\; 2\; c\; 2\; s\_2c\_2$s2c2	$s\; 2\; c\; 3\; s\_2c\_3$s2c3
1	0	1	0	0	1	0	0	0	0	0

然后将这样一条条样本输入到LR模型中，最终得到一组权重

$s\; 1\; s\_1$s1	$s\; 2\; s\_2$s2	$c\; 1\; c\_1$c1	$c\; 2\; c\_2$c2	$c\; 3\; c\_3$c3	$s\; 1\; c\; 1\; s\_1c\_1$s1c1	$s\; 1\; c\; 2\; s\_1c\_2$s1c2	$s\; 1\; c\; 3\; s\_1c\_3$s1c3	$s\; 2\; c\; 1\; s\_2c\_1$s2c1	$s\; 2\; c\; 2\; s\_2c\_2$s2c2	$s\; 2\; c\; 3\; s\_2c\_3$s2c3
$w\; s\; 1\; w\_\{s\_1\}$ws1	$w\; s\; 2\; w\_\{s\_2\}$ws2	$w\; c\; 1\; w\_\{c\_1\}$wc1	$w\; c\; 2\; w\_\{c\_2\}$wc2	$w\; c\; 3\; w\_\{c\_3\}$wc3	$w\; s\; 1\; c\; 1\; w\_\{s\_1c\_1\}$ws1c1	$w\; s\; 1\; c\; 2\; w\_\{s\_1c\_2\}$ws1c2	$w\; s\; 1\; c\; 3\; w\_\{s\_1c\_3\}$ws1c3	$w\; s\; 2\; c\; 1\; w\_\{s\_2c\_1\}$ws2c1	$w\; s\; 2\; c\; 2\; w\_\{s\_2c\_2\}$ws2c2	$w\; s\; 2\; c\; 3\; w\_\{s\_2c\_3\}$ws2c3

FM是将所有的特征进行交叉，写成公式为 $y\; =\; w\; 0\; +\; \sum \; i\; =\; 1\; n\; w\; i\; x\; i\; +\; \sum \; i\; =\; 1\; j\; =\; n\; \sum \; j\; =\; 1\; n\; v\; i\; T\; v\; j\; x\; i\; x\; j\; y=w\_0+\backslash sum\_\{i=1\}^\{n\}w\_ix\_i+\backslash sum\_\{i=1\}^\{j=n\}\backslash sum\_\{j=1\}^\{n\}v^\{T\}${i}v{j}x_ix_j y=w0+∑i=1nwixi+∑i=1j=n∑j=1nviTvjxixj 但从这个式子看好像也是需要将 $x\; i\; x\; j\; x\_ix\_j$xixj进行交叉，并且生成 $n\; \ast \; n\; n*n$n∗n维的交叉特征，但其实FM在求解交叉特征前的系数是并不是将样本变换输入的。

一开始理解为，用户和商品进行特征扩充，然后丢到lr模型学习各个特征（包括扩展后的交叉特征）的权重。fm则是根据数学形式做了优化。

8.用户特征

如果仔细看上面的各个公式的话会发现一个问题，单纯的用户特征在商品排序中根本没有任何用处，这是因为我们每次都是针对同一个用户推送物品的
ctruserctritemctrcrossctr=wu1u1+wu2u2+wu3u3....=wuTx=wi1i1+wi2i2+wi3i3....=wiTi=wui1ui1+wui2ui2+wui3ui3....wuiTui=ctruser+ctritem+ctrcross

同一个用户，不管推送了什么商品，这个用户的特征都是不会发生任何变化的，权重训练之后也是固定不变的，所以 $c\; t\; r\; u\; s\; e\; r\; ctr\_\{user\}$ctruser也不会改变，更换推荐商品的时候，商品特征是发生变化的，所以 $c\; t\; r\; i\; t\; e\; m\; ctr\_\{item\}$ctritem也是不断变化的，交叉特征中虽然用户没有发生变化，但是用户交叉的商品在变化，导致交叉特征也是在不断变化的，因此 $c\; t\; r\; c\; r\; o\; s\; s\; ctr\_\{cross\}$ctrcross的值也是在不断变化。

这就很有意思了，用户特征没有任何用处，唯一使用到用户特征的地方是在交叉特征里面了。我第一次做推荐的时候使用了非常多的用户特征，用户近1/3/7/30/60/180天内的gmv，登陆次数，点击次数，下单次数等等，但其实这些特征单独使用是根本没有任何效果的，必须要跟商品进行交叉才可以。而且可以遇见，用户自身特征的交叉也是没有任何作用的。

后面反应过来，统计用户的gmv其实是想要得到用户的价格区间，这样可以跟商品价格进行交互。可以手动进行交叉【用户价格区间】x【商品价格区间】，也可以使用fm自动进行交叉FM(用户价格区间，商品价格区间)

如果我们使用了神经网络来作为预估模型，纯粹的用户特征依然是非常非常重要的。因为神经网络会自动将用户和商品特征进行交叉，用户特征越多，交叉特征越多，模型会学习到更佳丰富的信息。

9. 用户分群

这是在思考交叉特征的时候想到的一个问题，在训练模型的时候是将所有的用户全都放到一起训练的，为什么不针对每个用户训练一个LR模型呢？例如针对用户 $u\; 1\; u\_1$u1
$$y\; 1\; =\; (\; w\; 1\; (\; 1\; )\; +\; w\; c\; 1\; )\; \ast \; c\; 1\; +\; (\; w\; 1\; (\; 2\; )\; +\; w\; c\; 2\; )\; \ast \; c\; 2\; +\; (\; w\; 1\; (\; 3\; )\; +\; w\; c\; 3\; )\; \ast \; c\; 3\; y\_1=(w\_1(1)+w\_\{c1\})*c\_1+(w\_1(2)+w\_\{c2\})*c\_2+(w\_1(3)+w\_\{c3\})*c\_3$$y1=(w1(1)+wc1)∗c1+(w1(2)+wc2)∗c2+(w1(3)+wc3)∗c3

因为是同一个用户，所以单纯的用户特征都是一模一样的，依然不会对商品排序有任何影响。只有交叉特征和商品特征会影响商品的排序，针对用户 $u\; 2\; u\_2$u2
$$y\; 2\; =\; (\; w\; 2\; (\; 1\; )\; +\; w\; c\; 1\; )\; \ast \; c\; 1\; +\; (\; w\; 2\; (\; 2\; )\; +\; w\; c\; 2\; )\; \ast \; c\; 2\; +\; (\; w\; 2\; (\; 3\; )\; +\; w\; c\; 3\; )\; \ast \; c\; 3\; y\_2=(w\_2(1)+w\_\{c1\})*c\_1+(w\_2(2)+w\_\{c2\})*c\_2+(w\_2(3)+w\_\{c3\})*c\_3$$y2=(w2(1)+wc1)∗c1+(w2(2)+wc2)∗c2+(w2(3)+wc3)∗c3

针对用户 $u\; 3\; u\_3$u3
$$y\; 3\; =\; (\; w\; 3\; (\; 1\; )\; +\; w\; c\; 1\; )\; \ast \; c\; 1\; +\; (\; w\; 3\; (\; 2\; )\; +\; w\; c\; 2\; )\; \ast \; c\; 2\; +\; (\; w\; 3\; (\; 3\; )\; +\; w\; c\; 3\; )\; \ast \; c\; 3\; y\_3=(w\_3(1)+w\_\{c1\})*c\_1+(w\_3(2)+w\_\{c2\})*c\_2+(w\_3(3)+w\_\{c3\})*c\_3$$y3=(w3(1)+wc1)∗c1+(w3(2)+wc2)∗c2+(w3(3)+wc3)∗c3

其实可以看到，针对每个用户其实我们都学习了一个权重向量

用户	$f\; 1\; f\_1$f1	$f\; 2\; f\_2$f2	$f\; 3\; f\_3$f3	...	$f\; j\; f\_j$fj
$u\; 1\; u\_1$u1	$w\; 11\; w\_\{11\}$w11	$w\; 12\; w\_\{12\}$w12	$w\; 13\; w\_\{13\}$w13	...	$w\; 1\; j\; w\_\{1j\}$w1j
$u\; 2\; u\_2$u2	$w\; 21\; w\_\{21\}$w21	$w\; 22\; w\_\{22\}$w22	$w\; 23\; w\_\{23\}$w23	...	$w\; 2\; j\; w\_\{2j\}$w2j
$u\; 3\; u\_3$u3	$w\; 31\; w\_\{31\}$w31	$w\; 32\; w\_\{32\}$w32	$w\; 33\; w\_\{33\}$w33	...	$w\; 3\; j\; w\_\{3j\}$w3j
$u\; i\; u\_i$ui	$w\; i\; 1\; w\_\{i1\}$wi1	$w\; i\; 2\; w\_\{i2\}$wi2	$w\; i\; 3\; w\_\{i3\}$wi3	...	$w\; i\; j\; w\_\{ij\}$wij

一个非常直接的问题是，有些用户的行为轨迹非常的少，交互的商品也非常的少，如果直接训练一个模型的话效果会非常的差。那是否可以将用户进行聚类之后再训练呢？根据用户的某些特征进行聚类，例如都喜欢浏览数码产品的用户分到一起。