flash-attention

海天一色y10 天前
llm·rmsnorm·flash-attention·decoder-only
AI 大模型算法岗面试题库覆盖:深度学习基础 · Transformer 原理 · 预训练与微调 · RLHF/对齐 · 推理与部署优化 · RAG/Agent · 多模态 · 分布式训练 · 工程与前沿 共 100+ 道题,含【考点】+【参考答案】+【常见追问】——追问已全部附带详细回答;另附 11 段可运行代码 建议用法:先遮住答案自测,答不上来的标记,二轮只看标记题。
一条大祥脚4 个月前
attention·softmax·tilelang·flash-attention·tilelang-puzzle·online-softmax
【Tilelang入门】Tilelang Puzzles 07一个开源仓库https://github.com/tile-ai/tilelang-puzzles/tree/main
love530love6 个月前
人工智能·windows·ui·llama·flash-attention·switch-cuda
冷门干货!llama.cpp 自带原生网页聊天 UI,无需第三方依赖一键开启很多本地大模型玩家,都不知道新版llama.cpp自带原生网页聊天服务,不用部署Python、不用装额外WebUI,纯原生启动,占用低、速度快,还能局域网共享,手机、平板、其他电脑都能无缝访问。本篇就用最简命令+完整避坑步骤,手把手教你开启。
love530love8 个月前
人工智能·windows·python·flash_attn·flash-attn·flash-attention·定制编译
【高阶编译】Windows 环境下强制编译 Flash Attention:绕过 CUDA 版本不匹配高阶指南你需要为博客写一段 Flash Attention 的简介,我会兼顾通俗性和专业性,既让非技术读者理解核心价值,也让技术读者get到关键亮点,适合放在博客开篇或核心概念解读部分:
weixin_660096789 个月前
python·flash-attention
flash-attention总是安装失败大家有时候在执行下面命令安装flash-attention的时候经常会报错遇到这种情况,可以从源码进行安装
love530love9 个月前
人工智能·windows·笔记·编译·flash_attn·flash-attn·flash-attention
Windows 11 下再次成功本地编译 Flash-Attention 2.8.3 并生成自定义 Wheel(RTX 3090 sm_86 专属版)发布时间:2025年12月29日Flash Attention 2.6.3 在 Windows 上编译成功复盘笔记
我是有底线的