推荐算法策略需求-rank model优化

1.pred_oobe

(base) [rus@xx]$ pwd /home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline-migrate/UserBaseActiveStatPipeline/his_session

(base) [rus@xx]$ sh test.sh

  1. user_skill_history_dict_expt2包含userid

work@xx\]$ vim /home/work/xx/du-rus/du_rus_offline/dict/skill_engine_dict/user_skill_history_dir/user_skill_history_dict_expt2 \[work@xx\]$ grep '2916418677' user_skill_history_dict_expt2 3.置顶技能灌库 增加 curl "10.194.200.12:8123/DproxyServer/cmd" -d '{"cmd":"zadd", "args":\["appstore_user_favour_6S192231D45C9AFB_2916418677","1","LP_2155","1"," LP_4993"\], "name":"show-app-store"}' 查询 curl "10.194.200.12:8123/DproxyServer/cmd" -d '{"cmd":"zrange", "args":\["appstore_user_favour_6S192231D45C9AFB_2916418677","0","-1"\], "name":" show-app-store"}' 删除 curl "10.194.200.12:8123/DproxyServer/cmd" -d '{"cmd":"del", "args":\["appstore_user_favour_6S192231D45C9AFB_2916418677"\], "name":"show-app- store"}' ![](https://file.jishuzhan.net/article/1775731473425371138/ac2791a09ea12703e13e52743254004b.webp) 4.禁用技能灌库 5.user_skill_feature灌库 /home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline-migrate/LpQsbRankPipeline/optimizer 下载文件 wget gzhxy-bdrp-ps-se-nlp-arch-xiaodu-gzhxy003.gzhxy.baidu.com:/home/disk2/data/xx/temp/test_naotu.txt 老字典: /home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline-migrate/UserBaseActiveStatPipeline/his_session, sh test.sh 部署环境中dict/skill_engine_dict/user_skill_history_dir/user_skill_history_dict_expt2中包含测试userid 增:curl "10.194.200.12:8123/DproxyServer/cmd" -d '{"cmd":"zadd", "args":\["appstore_user_favour_6S192231D45C9AFB_2916418677", "1", "LP_2155", "1", "LP_4993"\], "name":"show-app-store"}' 查:curl "10.194.200.12:8123/DproxyServer/cmd" -d '{"cmd":"zrange", "args":\["appstore_user_favour_6S192231D45C9AFB_2916418677", "0", "-1"\], "name":"show-app-store"}' 删:curl "10.194.200.12:8123/DproxyServer/cmd" -d '{"cmd":"del", "args":\["appstore_user_favour_6S192231D45C9AFB_2916418677"\], "name":"show-app- store"}' /home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline-migrate/LpQsbRankPipeline/optimizer/love_forbidden_skills, sh go.sh /home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline-migrate/LpQsbRankPipeline/post_process/user_skill_feature_process, sh test_run.sh wget gzhxy-bdrp-ps-se-nlp-arch-xiaodu-gzhxy003.gzhxy.baidu.com:/home/disk1/rus/offline-pipeline-routine/baidu/oxygen/rus-pipeline/pipeline- migrate/LpQsbRankPipeline/post_process/train_model/launchpad_model_manager/model_version.conf, 替换部署环境中的dict/launchpad_model_manager/model_version.conf 重启rus 新字典: 1、wget gzhxy-bdrp-ps-se-nlp-arch-xiaodu-gzhxy003.gzhxy.baidu.com:/home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline- migrate/LpQsbRankPipeline/post_process/skill_feature_process/skill_feature_dict_new.tar.gz并解压 2、将部署环境中dict/skill_feature_dict/skill_feature替换skill_feature_dict_new中的skill_feature,并执行sh go.sh 3、将skill_feature_dict_new替换掉部署环境中的dict/skill_feature_dict 4、重启环境 /home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline-migrate/LpQsbRankPipeline/post_process/user_skill_feature_process_new, sh test_run.sh 1、wget gzhxy-bdrp-ps-se-nlp-arch-xiaodu-gzhxy003.gzhxy.baidu.com:/home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline- migrate/LpQsbRankPipeline/optimizer/train_model/launchpad_model_manager/model_version.conf 替换部署环境中的dict/launchpad_model_manager/model_version.conf 2、wget gzhxy-bdrp-ps-se-nlp-arch-xiaodu-gzhxy003.gzhxy.baidu.com:/home/disk2/data/xx/icode/baidu/oxygen/rus-pipeline/pipeline- migrate/LpQsbRankPipeline/optimizer/train_model/launchpad_model_manager/gbdt/optimizer_v1.tar.gz, 解压到部署环境中的dict/launchpad_model_manager/gbdt目录下 3、重启环境 机器:gzhxy-bdrp-ps-se-nlp-arch-xiaodu-gzhxy003.gzhxy.baidu.com,rus 测试userid:2916418677,cuid:6S192231D45C9AFB,clientId:lNwEAEASbln5FhNTs7A8oDGW3TlQ2khy,请求体中requester=" LAUNCHPAD_CACHE" \[work@nj02-ps-wwwda13-n1.nj02.baidu.com rus_env\]$ pwd /home/work/xx/du-rus/offline-tools/du_rus/rus_env \[work@nj02-ps-wwwda13-n1.nj02.baidu.com rus_env\]$ python buildenv_rus.py aabe7d6575a6dca37c5d8409475a5febcb844b10 d6a6eb0f560cf14b75ecda9a7d83e165b68cd4d3 修改完截图的配置 \[work@nj02-ps-wwwda13-n1.nj02.baidu.com sample\]$ vim /home/work/xx/du-rus/du_rus_offline/dict/sample/sample_variable.conf 实验组:1 对照组:0 打开日志级别 vim /du-rus/du_rus_offline/conf/log.conf 第31行rpc.log 追加,TRACE,DEBUG 31 RPC_SELFLEVEL : NOTICE,TRACE,DEBUG 重启服务 /home/work/xx/du-rus/du_rus_offline/bin ./server_control stop 暂停服务 ./server_control start 启动服务 \[work@nj02-ps-wwwda13-n1.nj02.baidu.com log\]$ vim /home/work/xx/du-rus/du_rus_offline/log/rpc.log 日志查询candidate_features 测试结论 测试方式:捞取线上请求,java自动化方式实现 构造不同的userid 灌库 非灌库数据 不同实验组 对照组dumisid 请求 生成数据 捞取日志分析 ![](https://file.jishuzhan.net/article/1775731473425371138/8efb24315784bc77ae0fa7e410077bb9.webp) 老词典实验组 对照组 灌库数据 非灌库数据 ``` 507252, 507252, 507252, 507252, ``` ``` 2916418677, 2916418677, 2916418677, 2916418677, ``` ``` 6S192231D45C9AFB, 6S192231D45C9AFB, 6S1927504C666DF4, 6S1927504C666DF4, ``` 日志搜索 ?candidate_features ?xx: model_manager-\>regress succ 非灌库数据 userId=6071212314 4个特征分数为-1 灌库数据 userId=2916418677 4个特征分数均正常 实验组 507251 无特征 无分数 对照组 507252 有特征 分数 新词典对照组 实验组 507251 有特征 分数 打分如下 对照组 507252 有特征 分数 测试数据说明: 新词典:实验组 对照组打分不一致 pass 老词典:实验组无数据 对照组正常打分 pass 仅对照组,新词典与老词典同一技能打分一致 pass

相关推荐
秋邱2 天前
智启未来:AGI 教育融合 × 跨平台联盟 × 个性化空间,重构教育 AI 新范式开篇:一场 “教育 ×AI” 的范式革命
人工智能·python·重构·推荐算法·agi
B站计算机毕业设计之家5 天前
基于Python音乐推荐系统 数据分析可视化 协同过滤推荐算法 大数据(全套源码+文档)建议收藏✅
python·数据分析·推荐算法
秋邱7 天前
驾驭数据洪流:Python如何赋能您的数据思维与决策飞跃
jvm·算法·云原生·oracle·eureka·数据分析·推荐算法
2501_941149508 天前
未来的智能城市:科技如何塑造我们的生活与工作环境
推荐算法
麦麦大数据10 天前
F049 知识图谱双算法推荐在线学习系统vue+flask+neo4j之BS架构开题论文全源码
学习·算法·知识图谱·推荐算法·开题报告·学习系统·计算机毕业设计展示
麦麦大数据11 天前
F048 体育新闻推荐系统vue+flask
前端·vue.js·flask·推荐算法·体育·体育新闻
道一云黑板报11 天前
大规模低代码系统推荐:知识图谱与 GNN 的性能优化策略
深度学习·神经网络·低代码·性能优化·知识图谱·推荐算法
麦麦大数据12 天前
F047 vue3+flask微博舆情推荐可视化问答系统
python·flask·知识图谱·neo4j·推荐算法·舆情分析·舆情监测
源码之家12 天前
基于python租房大数据分析系统 房屋数据分析推荐 scrapy爬虫+可视化大屏 贝壳租房网 计算机毕业设计 推荐系统(源码+文档)✅
大数据·爬虫·python·scrapy·数据分析·推荐算法·租房
源码之家12 天前
机器学习:基于python租房推荐系统 预测算法 协同过滤推荐算法 房源信息 可视化 机器学习-线性回归预测模型 Flask框架(源码+文档)✅
大数据·python·算法·机器学习·数据分析·线性回归·推荐算法