前沿论文汇总(机器学习/深度学习/大模型/搜广推/自然语言处理)

文章目录

      • [1 前言](#1 前言)
      • [2 大模型/自然语言处理](#2 大模型/自然语言处理)
        • [2.1 FreeAL:在大模型时代实现无需人工的主动学习](#2.1 FreeAL:在大模型时代实现无需人工的主动学习)
      • [3 搜索/推荐/营销](#3 搜索/推荐/营销)
        • [3.1 PLE:一种面向个性化推荐的新型多任务学习模型](#3.1 PLE:一种面向个性化推荐的新型多任务学习模型)
        • [3.2 MMoE:多任务学习中的任务关系建模](#3.2 MMoE:多任务学习中的任务关系建模)
      • [4 机器学习](#4 机器学习)
      • [5 深度学习](#5 深度学习)

1 前言

本篇博客主要总结一下博主看过的人工智能领域的一些前沿论文,期待与大家一起进行交流探讨,列表中有超链接的是已经进行了精读的完整笔记,没有超链接的是进行了泛读的论文,博主会快马加鞭进行更新滴!请耐心等待博主嘿嘿,有什么比较好的论文也欢迎大家推荐给我啦,和大家一起学习共同进步!

2 大模型/自然语言处理

2.1 FreeAL:在大模型时代实现无需人工的主动学习

传统主动学习(AL)高度依赖人工筛选数据量大的未标注样本并进行标注,导致应用成本高昂且效率低下,难以适应大语言模型(LLM)时代的需求。

本文提出 FreeAL 框架,旨在完全消除人工参与。其核心创新在于利用LLM自身能力代替人工完成AL的两个关键步骤:(1) 自动样本选择:设计基于"自信度-不确定性"的评估框架,利用LLM预测的置信度和不确定性自动识别高价值样本;(2) 自动标注:直接使用LLM为选出的样本生成伪标签

在文本分类任务上的实验表明,FreeAL 仅依赖LLM进行样本选择与标注,其性能即可接近需要人工参与的经典AL方法。这显著降低了AL的应用门槛和成本,为实现全自动化、可扩展的主动学习提供了有效路径。

3 搜索/推荐/营销

3.1 PLE:一种面向个性化推荐的新型多任务学习模型

本文针对个性化推荐系统中多任务学习(MTL)普遍存在的任务冲突和负迁移问题,提出了创新模型PLE。传统共享底层参数的MTL模型在处理任务相关性差异大的复杂场景时效果受限。PLE的核心创新在于设计了一种分层专家结构,明确分离出共享专家层(用于提取跨任务共性知识)和任务专属专家层(用于学习任务特定知识),从根源上减少参数冲突。同时,PLE引入了渐进式提取机制,在更高层级通过门控网络动态、渐进地融合底层共享专家和任务专属专家提取的信息,优化知识迁移路径。

实验证明,在腾讯视频推荐等实际工业场景中,PLE显著优于如YouTube、MMoE等主流基线模型,特别是在任务差异大的情况下,有效提升了点击率(CTR)和观看时长等关键指标,成功缓解了负迁移问题,为构建高效鲁棒的工业级推荐系统提供了强有力的多任务学习解决方案。

3.2 MMoE:多任务学习中的任务关系建模

传统多任务学习(MTL)采用硬参数共享机制,所有任务强制共享底层网络。当任务间相关性低或存在冲突时,易导致负迁移(任务相互干扰)和性能下降,制约模型在复杂场景(如推荐系统)的应用。

本文提出 MMoE(Multi-gate Mixture-of-Experts) 模型,核心创新为:(1) 混合专家层(MoE):构建多组独立专家网络(Expert),提取差异化特征;

(2) 多门控机制(Multi-gate):为每个任务设计独立门控网络(Gating Network),动态学习专家组合权重,实现任务自适应知识共享。

最后在真实数据集(如大规模内容推荐)上验证,MMoE显著优于共享底层模型,成功缓解负迁移问题,为工业级多任务学习提供了高效解决方案。

4 机器学习

4.1

5 深度学习

5.1
相关推荐
正在走向自律几秒前
第二章-AIGC入门-开启AIGC音频探索之旅:从入门到实践(6/36)
人工智能·aigc·音视频·语音识别·ai音乐·ai 音频·智能语音助手
Trent19857 分钟前
影楼精修-智能修图Agent
图像处理·人工智能·计算机视觉·aigc
烟锁池塘柳08 分钟前
【大模型】解码策略:Greedy Search、Beam Search、Top-k/Top-p、Temperature Sampling等
人工智能·深度学习·机器学习
盼小辉丶23 分钟前
PyTorch实战(14)——条件生成对抗网络(conditional GAN,cGAN)
人工智能·pytorch·生成对抗网络
Allen_LVyingbo1 小时前
数智读书笔记系列035《未来医疗:医疗4.0引领第四次医疗产业变革》
人工智能·经验分享·笔记·健康医疗
zzc9211 小时前
时频图数据集更正程序,去除坐标轴白边及调整对应的标签值
人工智能·深度学习·数据集·标签·时频图·更正·白边
isNotNullX1 小时前
什么是数据分析?常见方法全解析
大数据·数据库·数据仓库·人工智能·数据分析
riveting1 小时前
明远智睿H618:开启多场景智慧生活新时代
人工智能·嵌入式硬件·智能硬件·lga封装·3506
夜阑卧听风吹雨,铁马冰河入梦来2 小时前
Spring AI 阿里巴巴学习
人工智能·学习·spring
c7692 小时前
【文献笔记】Automatic Chain of Thought Prompting in Large Language Models
人工智能·笔记·语言模型·论文笔记