【深度学习】多元物料融合算法(一):量纲对齐常见方法

目录

一、引言

二、量纲对齐常见方法

[2.1 Z-score标准化+Sigmoid归一化](#2.1 Z-score标准化+Sigmoid归一化)

[2.2 Min-Max 归一化](#2.2 Min-Max 归一化)

[2.3 Rank Transformation](#2.3 Rank Transformation)

[2.4 Log Transformation](#2.4 Log Transformation)

[2.5 Robust Scaling](#2.5 Robust Scaling)

3、总结


一、引言

类似抖音、快手、小红书等产品的信息流推荐业务,主要通过信息流广告、信息流直播电商等获得经济收益,对于流量最大的核心推荐系统,或多或少都要承担商业指标,承接特定物料的曝光需求。但是广告、直播电商或其他业务物料,会根据自己的需求进行排序,由于不是一套模型,业务场景数据也不一样,插入物料的量纲与主推荐量纲必定不相同,随之但是的就是无法比较问题,如何将不同的量纲对齐且可比呢,今天介绍常见的几种方法。

二、量纲对齐常见方法

2.1 Z-score标准化+Sigmoid归一化

Z-score标准化将数据转换为均值为0、标准差为1的分布。公式如下:

其中:

  • 是原始数据点
  • 是序列的均值
  • 是序列的标准差

Sigmoid将均值为0、标准差为1的分布转化为值域为0-1的分布。公式为

Z-score+Sigmoid序列合并计算步骤

  1. 对每个序列分别计算均值和标准差。
  2. 对每个数据点应用Z-score公式进行标准化。
  3. 对标准化后的序列采用Simgoid归一化到0-1后,进行比较。

2.2 Min-Max 归一化

Min-Max 归一化将数据线性地转换到一个固定的区间(通常是 [0, 1])。公式如下:

其中:

  • 是原始数据点
  • min是序列的最小值
  • max是序列的最大值

序列合并计算步骤:

  1. 对每个序列分别计算最小值和最大值。
  2. 对每个数据点应用上述公式进行归一化。
  3. 合并归一化后的序列。

2.3 Rank Transformation

Rank Transformation 将数据转换为它们的秩次。公式如下:

序列合并计算步骤:

  1. 对每个序列分别计算每个数据点的秩次。
  2. 合并秩次后的序列。

2.4 Log Transformation

如果数据分布偏斜,可以使用对数变换来压缩数据范围。公式如下:

序列合并计算步骤:

  1. 对每个序列分别应用对数变换。
  2. 合并变换后的序列。

2.5 Robust Scaling

Robust Scaling 使用中位数和四分位距(IQR)进行标准化,适用于存在异常值的数据。公式如下:

  • 是序列的中位数
  • 是序列的四分位距(即第75百分位数减去第25百分位数)

序列合并计算步骤:

  1. 对每个序列分别计算中位数和IQR。
  2. 对每个数据点应用上述公式进行标准化。
  3. 合并标准化后的序列。

3、总结

本文初步介绍了多种将不同量纲的多元物料转换为同一量纲的方法,主要目标就是让不同业务场景的推荐排序结果可以比较,通过公式化的序列转换,快速达到可比的预期,计算效率更高。在实践中,Z-score+Sigmoid方法更为实用。

相关推荐
杜子不疼.1 小时前
CANN计算机视觉算子库ops-cv的图像处理与特征提取优化实践
图像处理·人工智能·计算机视觉
大闲在人1 小时前
软件仍将存在,但软件公司会以全新形式出现——从Claude智能体引发万亿市值震荡看行业重构
人工智能
艾莉丝努力练剑1 小时前
【Linux:文件】Ext系列文件系统(初阶)
大数据·linux·运维·服务器·c++·人工智能·算法
芷栀夏1 小时前
从 CANN 开源项目看现代爬虫架构的演进:轻量、智能与统一
人工智能·爬虫·架构·开源·cann
梦帮科技1 小时前
OpenClaw 桥接调用 Windows MCP:打造你的 AI 桌面自动化助手
人工智能·windows·自动化
User_芊芊君子1 小时前
【分布式训练】CANN SHMEM跨设备内存通信库:构建高效多机多卡训练的关键组件
分布式·深度学习·神经网络·wpf
永远都不秃头的程序员(互关)1 小时前
CANN模型量化赋能AIGC:深度压缩,释放生成式AI的极致性能与资源潜力
人工智能·aigc
爱华晨宇1 小时前
CANN Auto-Tune赋能AIGC:智能性能炼金术,解锁生成式AI极致效率
人工智能·aigc
聆风吟º1 小时前
CANN算子开发:ops-nn神经网络算子库的技术解析与实战应用
人工智能·深度学习·神经网络·cann
觉醒大王1 小时前
强女思维:着急,是贪欲外显的相。
java·论文阅读·笔记·深度学习·学习·自然语言处理·学习方法