前沿论文汇总(机器学习/深度学习/大模型/搜广推/自然语言处理)

文章目录

      • [1 前言](#1 前言)
      • [2 大模型/自然语言处理](#2 大模型/自然语言处理)
        • [2.1 FreeAL:在大模型时代实现无需人工的主动学习](#2.1 FreeAL:在大模型时代实现无需人工的主动学习)
      • [3 搜索/推荐/营销](#3 搜索/推荐/营销)
        • [3.1 PLE:一种面向个性化推荐的新型多任务学习模型](#3.1 PLE:一种面向个性化推荐的新型多任务学习模型)
        • [3.2 MMoE:多任务学习中的任务关系建模](#3.2 MMoE:多任务学习中的任务关系建模)
      • [4 机器学习](#4 机器学习)
      • [5 深度学习](#5 深度学习)

1 前言

本篇博客主要总结一下博主看过的人工智能领域的一些前沿论文,期待与大家一起进行交流探讨,列表中有超链接的是已经进行了精读的完整笔记,没有超链接的是进行了泛读的论文,博主会快马加鞭进行更新滴!请耐心等待博主嘿嘿,有什么比较好的论文也欢迎大家推荐给我啦,和大家一起学习共同进步!

2 大模型/自然语言处理

2.1 FreeAL:在大模型时代实现无需人工的主动学习

传统主动学习(AL)高度依赖人工筛选数据量大的未标注样本并进行标注,导致应用成本高昂且效率低下,难以适应大语言模型(LLM)时代的需求。

本文提出 FreeAL 框架,旨在完全消除人工参与。其核心创新在于利用LLM自身能力代替人工完成AL的两个关键步骤:(1) 自动样本选择:设计基于"自信度-不确定性"的评估框架,利用LLM预测的置信度和不确定性自动识别高价值样本;(2) 自动标注:直接使用LLM为选出的样本生成伪标签

在文本分类任务上的实验表明,FreeAL 仅依赖LLM进行样本选择与标注,其性能即可接近需要人工参与的经典AL方法。这显著降低了AL的应用门槛和成本,为实现全自动化、可扩展的主动学习提供了有效路径。

3 搜索/推荐/营销

3.1 PLE:一种面向个性化推荐的新型多任务学习模型

本文针对个性化推荐系统中多任务学习(MTL)普遍存在的任务冲突和负迁移问题,提出了创新模型PLE。传统共享底层参数的MTL模型在处理任务相关性差异大的复杂场景时效果受限。PLE的核心创新在于设计了一种分层专家结构,明确分离出共享专家层(用于提取跨任务共性知识)和任务专属专家层(用于学习任务特定知识),从根源上减少参数冲突。同时,PLE引入了渐进式提取机制,在更高层级通过门控网络动态、渐进地融合底层共享专家和任务专属专家提取的信息,优化知识迁移路径。

实验证明,在腾讯视频推荐等实际工业场景中,PLE显著优于如YouTube、MMoE等主流基线模型,特别是在任务差异大的情况下,有效提升了点击率(CTR)和观看时长等关键指标,成功缓解了负迁移问题,为构建高效鲁棒的工业级推荐系统提供了强有力的多任务学习解决方案。

3.2 MMoE:多任务学习中的任务关系建模

传统多任务学习(MTL)采用硬参数共享机制,所有任务强制共享底层网络。当任务间相关性低或存在冲突时,易导致负迁移(任务相互干扰)和性能下降,制约模型在复杂场景(如推荐系统)的应用。

本文提出 MMoE(Multi-gate Mixture-of-Experts) 模型,核心创新为:(1) 混合专家层(MoE):构建多组独立专家网络(Expert),提取差异化特征;

(2) 多门控机制(Multi-gate):为每个任务设计独立门控网络(Gating Network),动态学习专家组合权重,实现任务自适应知识共享。

最后在真实数据集(如大规模内容推荐)上验证,MMoE显著优于共享底层模型,成功缓解负迁移问题,为工业级多任务学习提供了高效解决方案。

4 机器学习

4.1

5 深度学习

5.1
相关推荐
山烛3 分钟前
KNN 算法中的各种距离:从原理到应用
人工智能·python·算法·机器学习·knn·k近邻算法·距离公式
盲盒Q13 分钟前
《频率之光:归途之光》
人工智能·硬件架构·量子计算
墨染点香21 分钟前
第七章 Pytorch构建模型详解【构建CIFAR10模型结构】
人工智能·pytorch·python
go546315846521 分钟前
基于分组规则的Excel数据分组优化系统设计与实现
人工智能·学习·生成对抗网络·数学建模·语音识别
茫茫人海一粒沙28 分钟前
vLLM 的“投机取巧”:Speculative Decoding 如何加速大语言模型推理
人工智能·语言模型·自然语言处理
诗酒当趁年华30 分钟前
【NLP实践】二、自训练数据实现中文文本分类并提供RestfulAPI服务
人工智能·自然语言处理·分类
静心问道1 小时前
Idefics3:构建和更好地理解视觉-语言模型:洞察与未来方向
人工智能·多模态·ai技术应用
sheep88881 小时前
AI与区块链Web3技术融合:重塑数字经济的未来格局
人工智能·区块链
奋进的孤狼1 小时前
【Spring AI】阿里云DashScope灵积模型
人工智能·spring·阿里云·ai·云计算
AIGC_北苏1 小时前
让UV管理一切!!!
linux·人工智能·uv