前沿论文汇总(机器学习/深度学习/大模型/搜广推/自然语言处理)

文章目录

      • [1 前言](#1 前言)
      • [2 大模型/自然语言处理](#2 大模型/自然语言处理)
        • [2.1 FreeAL:在大模型时代实现无需人工的主动学习](#2.1 FreeAL:在大模型时代实现无需人工的主动学习)
      • [3 搜索/推荐/营销](#3 搜索/推荐/营销)
        • [3.1 PLE:一种面向个性化推荐的新型多任务学习模型](#3.1 PLE:一种面向个性化推荐的新型多任务学习模型)
        • [3.2 MMoE:多任务学习中的任务关系建模](#3.2 MMoE:多任务学习中的任务关系建模)
      • [4 机器学习](#4 机器学习)
      • [5 深度学习](#5 深度学习)

1 前言

本篇博客主要总结一下博主看过的人工智能领域的一些前沿论文,期待与大家一起进行交流探讨,列表中有超链接的是已经进行了精读的完整笔记,没有超链接的是进行了泛读的论文,博主会快马加鞭进行更新滴!请耐心等待博主嘿嘿,有什么比较好的论文也欢迎大家推荐给我啦,和大家一起学习共同进步!

2 大模型/自然语言处理

2.1 FreeAL:在大模型时代实现无需人工的主动学习

传统主动学习(AL)高度依赖人工筛选数据量大的未标注样本并进行标注,导致应用成本高昂且效率低下,难以适应大语言模型(LLM)时代的需求。

本文提出 FreeAL 框架,旨在完全消除人工参与。其核心创新在于利用LLM自身能力代替人工完成AL的两个关键步骤:(1) 自动样本选择:设计基于"自信度-不确定性"的评估框架,利用LLM预测的置信度和不确定性自动识别高价值样本;(2) 自动标注:直接使用LLM为选出的样本生成伪标签

在文本分类任务上的实验表明,FreeAL 仅依赖LLM进行样本选择与标注,其性能即可接近需要人工参与的经典AL方法。这显著降低了AL的应用门槛和成本,为实现全自动化、可扩展的主动学习提供了有效路径。

3 搜索/推荐/营销

3.1 PLE:一种面向个性化推荐的新型多任务学习模型

本文针对个性化推荐系统中多任务学习(MTL)普遍存在的任务冲突和负迁移问题,提出了创新模型PLE。传统共享底层参数的MTL模型在处理任务相关性差异大的复杂场景时效果受限。PLE的核心创新在于设计了一种分层专家结构,明确分离出共享专家层(用于提取跨任务共性知识)和任务专属专家层(用于学习任务特定知识),从根源上减少参数冲突。同时,PLE引入了渐进式提取机制,在更高层级通过门控网络动态、渐进地融合底层共享专家和任务专属专家提取的信息,优化知识迁移路径。

实验证明,在腾讯视频推荐等实际工业场景中,PLE显著优于如YouTube、MMoE等主流基线模型,特别是在任务差异大的情况下,有效提升了点击率(CTR)和观看时长等关键指标,成功缓解了负迁移问题,为构建高效鲁棒的工业级推荐系统提供了强有力的多任务学习解决方案。

3.2 MMoE:多任务学习中的任务关系建模

传统多任务学习(MTL)采用硬参数共享机制,所有任务强制共享底层网络。当任务间相关性低或存在冲突时,易导致负迁移(任务相互干扰)和性能下降,制约模型在复杂场景(如推荐系统)的应用。

本文提出 MMoE(Multi-gate Mixture-of-Experts) 模型,核心创新为:(1) 混合专家层(MoE):构建多组独立专家网络(Expert),提取差异化特征;

(2) 多门控机制(Multi-gate):为每个任务设计独立门控网络(Gating Network),动态学习专家组合权重,实现任务自适应知识共享。

最后在真实数据集(如大规模内容推荐)上验证,MMoE显著优于共享底层模型,成功缓解负迁移问题,为工业级多任务学习提供了高效解决方案。

4 机器学习

4.1

5 深度学习

5.1
相关推荐
艾醒7 分钟前
探索大语言模型(LLM):大模型微调方式全解析
人工智能·算法
diqiudq9 分钟前
用AMD显卡节省nVidia显卡显存占用
linux·深度学习·ubuntu·显存释放
IvanCodes12 分钟前
RTX 4090 加速国产 AIGC 视频生成:腾讯混元与阿里千问开源模型
人工智能·开源·aigc·音视频
说私域19 分钟前
定制开发开源AI智能名片S2B2C商城小程序的会员制运营研究——以“老铁用户”培养为核心目标
人工智能·小程序·开源
格林威23 分钟前
常规可见光相机在工业视觉检测中的应用
图像处理·人工智能·数码相机·计算机视觉·视觉检测
循环渐进Forward25 分钟前
Go语言:给AI开发装上高性能引擎
开发语言·人工智能·golang
skywalk816339 分钟前
调试parlant的大模型配置,最终自己动手写了g4f的模块挂载
网络·人工智能·语言模型·tiktoken
MUTA️1 小时前
论文速览:从ConvNeXt 到 ConvNeXt V2
人工智能·深度学习
九天轩辕1 小时前
用一个 Bash CLI 管理多款 AI 开发工具:jt-code-cli 实战与原理解析
开发语言·人工智能·bash
张较瘦_1 小时前
[论文阅读] AI+软件工程 | 开发者 AI 需求新指南:任务感知视角下的负责任 AI 实证研究
论文阅读·人工智能·软件工程