rl/swe/sft相关论文列表

Distributional Clarity: The Hidden Driver of RL-Friendliness in Large Language Models

简述:在用强化学习(Reinforcement Learning with Verifiable Rewards, RLVR)训练大语言模型时,不同模型家族存在显著差异:同样的训练流程下,Qwen 系列模型能获得巨大收益,而 Llama 系列则提升有限。这种差异被称为 "RL-Friendliness"(强化学习友好性)

https://github.com/QwenLM/FlashQLA

最新算子库:FlashQLA (Flash Qwen Linear Attention)是 Qwen 团队开源的一个高性能线性注意力算子库,专门为 Qwen3.5/3.6 系列模型中的线性注意力机制做极致的 GPU 加速优化。

FlashQLA 基于 TileLang 构建,通过合理的算子融合和性能优化,作用于 GDN Chunked Prefill 的前向和反向传播,在 NVIDIA Hopper GPU 上相比 FLA Triton kernel 实现了前向 2-3 倍加速、反向 2 倍加速。在预训练场景和边缘侧 Agentic 推理场景中收益尤为明显。 github

FLAFlash Linear Attention

相关推荐
牧艺6 分钟前
Cursor 多 Agent 与 Worktree:大重构不再赌一把
人工智能·agent·cursor
一键生成网站8 分钟前
开源AI政务大屏制作工具对比:国产化安全合规选型深度分析
人工智能·开源·政务·
智食分子15 分钟前
大模型开发框架LangChain
人工智能
YHL18 分钟前
🤖 Agent 智能体开发实战 · 第一课:Tool Use —— 让大模型自动干活
前端·javascript·人工智能
萧萧秦风瘦飞马19 分钟前
CSDN博客-第6天-DataLoader与二维非线性分类
人工智能·分类·数据挖掘
Java小白笔记20 分钟前
Codex config.toml配置实战指南
人工智能·算法·chatgpt·ai编程·集成学习
Goodbye24 分钟前
AI 数据集:大模型智能的基石
人工智能
AKAMAI24 分钟前
Akamai收购安全企业浏览器提供商LayerX
人工智能·云计算
用户27493296766125 分钟前
Spring AI 手搓 RAG:文档上传 → 向量化 → 检索增强,全链路 Java 实现
人工智能
米小虾32 分钟前
Claude Code Loop Engineering 深度解读:从写 Prompt 到设计 Loop
人工智能·agent