技术栈
2080ti
容沁风
7 天前
llama.cpp
·
2080ti
·
gemma4
·
vbr
使用ninja编译llama.cpp
使用的电脑没有nvidia显卡，但是可以编译llama.cpp的CUDA版。C盘没有空间了，把cuda安装在D:\cuda12，我的显卡是2080ti 11G， turing架构。 也会在C盘安装少量文件（C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration\MSBuildExtensions） 在path变量中设置路径
Garfield2005
1 年前
pytorch
·
flashattention
·
turing
·
图灵架构
·
t4
·
2080ti
绕过 FlashAttention-2 限制：在 Turing 架构上使用 PyTorch 实现 FlashAttention
FlashAttention【github】 系列，由斯坦福大学 AI 实验室的 Dao 等人提出，通过巧妙的 I/O 感知算法（I/O-aware algorithm）和自定义的 CUDA 内核（CUDA kernel）显著提升了 Transformer 模型中注意力机制的训练和推理速度，尤其是在长序列处理方面。
我是有底线的