营销场景的自动化建模思考

一、需求分析

在营销场景实际业务中,例如节日大促,新品发售等场景确定模型相对于专家规则有效果后,后续是两个方向

1、要么单个场景做单点突破,例如已经准确率已经达到90%了,想要进一步提升,例如从梯度提升决策树到深度学习,甚至到强化学习。这种场景适合单一入口的产品,例如百度搜索、抖音视频推荐,围绕这第一生产力做优化,因为每个1%甚至0.1%的优化,在几亿用户体量下都会带来很大的收益,则考虑纵向发展。

2、要么根据模型有效,快速复制到多个场景,每个场景提升20%-30%,带来整体的效果提升。例如五一大促有效,马上复用于后续的各个大促节点。这种适合单一场景是一次性的,但是每年场景是非常多的,则考虑进行横向扩展。

在营销场景中,以业务销售公司做横向多场景扩展为例子,讲下如何做横向扩展。

在机器学习建模流程中分六个步骤:需求沟通、目标确定、特征和数据挖掘、模型训练、模型评估、模型上线。其中越往下游,则越容易复用,可以考虑抽象出模版来解决代码重复开发问题。

二、详细分析

例如模型上线,可以使用在线的统一服务接口或者是离线统一数据表来提供实时数据和T+1的离线数据。例如Python的Flask服务,或者直接用Seldon,kserve等模型发布服务。或者是hive计算离线数据。基本可以实现一套代码通用全部场景

参考对应的kserver代码kserve/python/xgbserver/xgbserver/model.py at master · kserve/kserve · GitHub

复制代码
import pickle
class Model:
    def __init__(self):
        self._model = pickle.loads( open("model.pickle", "rb") )

    def predict(self, X):
        output = self._model(X)
        return output

模型训练阶段 ,则可以提供可修改模型的优化配置参数文件,以及对应的训练数据和预测数据的地址,就可以复用多个场景,一套代码通用全部场景

复制代码
(
 learning_rate =0.1,
 n_estimators=1000,
 max_depth=5,
 min_child_weight=1,
 gamma=0,
 subsample=0.8,
 colsample_bytree=0.8,
 objective= 'binary:logistic',
 nthread=4,
 scale_pos_weight=1,
 seed=27
)

特征和数据挖掘阶段 ,则考虑多个场景中的相同性,对共性的做代码提取,对非共性的提供可配置的文件,并且是多场景,很多特征其实是可以复用,并且不会大规模更新特征,则可以复用特征获取脚本。这个场景是可能是一个场景或者一个品牌一套特征和数据挖掘的流程,N个品牌的代码

目标确定阶段 ,同样根据多个场景的相同性,开发标签模模版,例如大促是固定的 开始时间到结束时间,订单范围是限定某些特定渠道,用户范围是限定某些用户,这个就需要有很强的灵活性,例如大促一套,商品一套,门店一套,甚至不同品牌还需要各自一套逻辑,N个品牌*M个商品的代码

参考文献

  1. ​​​​​​GitHub - kserve/kserve: Standardized Serverless ML Inference Platform on Kuberneteshttps://github.com/SeldonIO/seldon-core

  2. ​​​​​​GitHub - kserve/kserve: Standardized Serverless ML Inference Platform on Kubernetes

相关推荐
linux kernel11 分钟前
第八部分:进程创建退出等待和替换
linux·运维·服务器
awei091627 分钟前
Jenkins服务器报磁盘空间不足的问题解决方案
linux·运维·jenkins
dessler29 分钟前
Kubernetes(k8s)-日志(logs)和exec内部逻辑
linux·运维·kubernetes
山山而川粤31 分钟前
SSM考研信息查询系统
java·大数据·运维·服务器·开发语言·数据库·考研
H1346948901 小时前
局域网数据同步软件,局域网数据备份的方法
运维·服务器·负载均衡
ORIPID2 小时前
Ubuntu完整复制其他用户的anaconda及虚拟环境
linux·运维·ubuntu
plmm烟酒僧7 小时前
使用 Tmux 在断开SSH连接后,保持会话的生命周期
运维·ssh·tmux·分离会话
多多*9 小时前
Java设计模式 简单工厂模式 工厂方法模式 抽象工厂模式 模版工厂模式 模式对比
java·linux·运维·服务器·stm32·单片机·嵌入式硬件
南鸳61011 小时前
Linux常见操作命令(2)
linux·运维·服务器
Kaede611 小时前
怎么安装JSON服务器?JSON服务器最新安装教程
运维·服务器·json