技术栈
显存
深念Y
6 天前
缓存
·
ai
·
llm
·
api
·
硬件
·
显存
·
kvcache
大模型API缓存的底层原理：从显存到网关
最近和一位朋友聊到API的缓存，他提出了一个很敏锐的问题：“其实tokens缓存都是假的吧？LLM本身就是无状态的。这种缓存只是一种计费规则。实际上跟上下文显存空间有关，你来用，他那边就会给你开一个显存池，就是为了反复压缩切换。不可能你现在来一次，等下不来了，他还把你这份留着来压缩显存，开销太大了。”
TracyCoder123
4 个月前
cpu
·
gpu
·
显存
算力的灵魂：GPU与显存
要理解 CPU 和 GPU 的区别，我们先抛开复杂的电路图，用一个经典的 “算力剧场” 来打比方。让我们深入芯片内部，看看它们的“大脑构造”有何不同。
眸生
1 年前
c语言
·
汇编
·
操作系统
·
计算机组成原理
·
显存
·
i/o外设
至此（day1-day4）代码详解（ai辅助整理）
主要功能模块说明：
Yulki
2 年前
linux
·
bug
·
nvidia
·
显存
·
释放资源
【bug记录】清除僵尸进程，释放GPU显存
在进行深度学习或其他需要GPU支持的任务时，我们有时会发现虽然没有可见的进程在执行，但GPU资源却意外地被占用。这种情况往往会阻碍我们的工作进度，因为新的任务无法启动。如果你遇到了这种状况，不要担心，这里有一些方法可以帮助你解决这个问题。
XD742971636
3 年前
pytorch
·
python
·
cuda
·
显存
【Python】pytorch，CUDA是否可用，查看显卡显存剩余容量
CUDA可用，共有 1 个GPU设备可用。 当前使用的GPU设备索引：0 当前使用的GPU设备名称：NVIDIA T1000 GPU显存总量：4.00 GB 已使用的GPU显存：0.00 GB 剩余GPU显存：4.00 GB PyTorch版本：1.10.1+cu102
我是有底线的