缓存

我是大猴子3 小时前
数据库·redis·缓存
redis统计 UV 用 HyperLogLog 而不用 Set,因为 Set 要存储全部用户标识,内存占用大;HyperLogLog 不存原始数据,基于概率算法估算独立数量,内存极小,支持海量 UV 统计,缺点是结果有微小误差,拿不到明细。
code2cat9 小时前
缓存·大语言模型·vllm
【随笔】推理准入控制:请求进来之前,先给KV缓存留出位置KV缓存量化可以减少单个Token的存储成本,服务仍然需要决定同时接纳多少请求。十个短问答与十份长文档占用的资源完全不同;只限制HTTP连接数,很难解释为什么相同并发有时顺畅、有时排队很久。今天把输入长度、输出预算和缓存容量放进同一本账,写一个可运行的准入模型,再区分它与推理引擎的调度参数。
徐小黑ACG12 小时前
数据库·redis·缓存
Redis-基础本文使用 Docker 拉取 Redis 镜像并部署运行,整理 Redis 常用数据类型、命令、事务与持久化机制,作为学习和日常查阅笔记。同时,本文中不会介绍所有的指令,而是根据常用性来进行编写。如有遗漏请见谅
FungLeo1 天前
缓存·cdn·数据一致性·http缓存·成为全栈·flutter缓存
成为全栈·基础补充·缓存的层次与失效:浏览器、CDN、服务端、数据库做移动端那批文章时,我被一个现象困惑了很久:App 明明显示"已下架"的文章,点进去还能读到完整正文。
code2cat2 天前
人工智能·缓存·大语言模型
【随笔】KV缓存量化:省下的显存,要付出多少数值误差上一篇把KV缓存移到CPU内存,分析了逐层预取的传输等待。还有一条节省容量的路线,把每个缓存元素保存得更紧凑。问题随之变成,节省了多少字节,恢复数值要做多少工作,最终生成结果会受多大影响?
csdn_aspnet2 天前
数据库·windows·redis·缓存·mac
Redis 入门:Windows、Mac安装指南目录在 Windows 上安装 Redis方法一:WSL(本教程系列推荐使用)方法二:Memurai(Windows 原生替代方案)
Pniubi2 天前
缓存
缓存击穿的解决方案互斥锁区分 互斥锁 & X锁这里的互斥锁指在redis加分布式锁:这里边的lock()是包装了redis里面加锁的命令
code2cat3 天前
人工智能·缓存·大语言模型
【随笔】KV缓存卸载:逐层预取能藏住多少传输时间昨天的随笔讨论了Prefill与Decode位于不同实例时怎样交接KV状态。今天把范围缩小到一台机器:模型权重已经能放进GPU,短提示也能正常生成,长提示却在生成过程中耗尽显存。把KV缓存移到CPU内存能腾出多少空间?下一枚Token又要为此等待多久?
AI技术新视界4 天前
人工智能·缓存·llm·prompt
LLM 提示词缓存(Prompt Caching)的秘密本报告基于社区讨论及行业数据分析,深入探讨了主要大语言模型(LLM)提供商(Anthropic, Google, OpenAI, Cursor等)在提示词缓存(Prompt Caching)表现上的显著差异。核心发现表明,缓存比例的差异并非单纯反映模型智能水平,而是由应用类型分布(编码智能体 vs. 通用聊天)、提示词结构稳定性以及云端基础设施架构共同决定。对于编码智能体(Coding Agents)等高上下文复用场景,缓存命中率直接决定了运营成本,其重要性远超输入价格本身。
lsc_blog4 天前
git·缓存·ci/cd·职场和发展·github
年底还在招的岗位,先确认缺口和到岗要求十一月看到一个技术岗位,不要仅凭「年底还在招」判断机会好坏。先确认缺口是否明确、流程由谁推进、希望何时到岗。岗位发布时间只能说明页面上有这条信息,不能替你回答团队现在需要什么人。
xixiaoyunya5 天前
数据库·redis·缓存
Redis缓存三大问题实战:穿透、击穿、雪崩,我用一个电商秒杀场景讲清楚上个月公司秒杀活动,Redis 被打挂了两次。第一次是缓存穿透,恶意请求直接打到 MySQL,数据库连接池满了;第二次是缓存雪崩,一批 key 同时过期,流量瞬间压垮后端。事后复盘,把这三个经典问题从头到尾捋了一遍,配上可运行的代码和压测数据,记录一下。
我不会起名字3225 天前
redis·缓存·go·qps·hotkey
Redis 从 0 到 1(二十三):一个热 key 打到 10 万 QPS——hotkey 与本地缓存的 Go 实现我不会起名字322 · 后端 / 算法 / 数据库📘 技术栈 | 🧩 力扣 Hot100 | 🐹 Go 项目 | 🟥 Redis | 🐬 MySQL
真上帝的左手6 天前
数据库·redis·分布式·缓存·中间件
30. 技术专题-‌应用框架组件-缓存-Redis你现在打开项目代码,搜索 RedisTemplate,匹配到的地方是不是都有这么几行——查缓存、写缓存、删缓存?你对这套操作早已烂熟于心,闭着眼都能写出来。
bksczm6 天前
数据库·redis·缓存
C++Redis开发(Ubuntu 22.04)在 HTTP 那篇博客里我们分析过应用层协议,也自己实现了 Web 开发。当时得出的结论是:想要建立连接,最重要的是先把协议设计好。
goehou6 天前
redis·缓存·llm·一致性·系统设计
缓存该删还是该改,LLM 服务里的双写问题给答案加缓存之后,命中率上去了,账单下来了。然后开始出现一类很难查的问题,同一个问题,五分钟后问一次得到新答案,再问一次又回到旧答案。用户以为系统在抽风。
利威尔xu6 天前
后端·缓存·微服务·面试·golang
Go IM 源码实战(14):本地缓存快 3000 倍,失效却难 10 倍你好,我是利威尔xu。这是**「Go IM 源码实战」系列第 14 篇**。前面 13 篇里,Redis 出现了无数次——seq、水位、token、在线状态、会话缓存。这一篇专门讲缓存本身。
程序猿编码6 天前
人工智能·神经网络·机器学习·缓存·llm·大模型推理
解决 LLM 算力浪费,一套统一 KV 管理层实现缓存复用大模型推理服务中,KV Cache 的重复计算正在成为不可忽视的成本瓶颈。Agent 工作流反复检索相同上下文、多轮对话不断重放历史轮次、多模态应用反复处理同一批视觉特征——这些场景下,如果每次都要重新计算 KV Cache,算力浪费惊人。
zrc0070077 天前
windows·经验分享·游戏·缓存·游戏程序·创业创新·玩游戏
steam无法登录 steam错误 登录时出现错误。请稍后再试。解决办法 steam无法登录解决办法 湖南地区steam DNS问题解决办法退出登录窗口。按 Ctrl + Shift + Esc 或右键下方任务栏打开任务管理器,搜索并关闭所有steam有关的程序。