技术栈
缓存
liulilittle
12 小时前
缓存
·
ai
·
llm
LLM推理中的KV缓存与跨请求前缀复用:机制、条件与提示词
摘要KV缓存是Transformer自回归推理中将解码阶段计算复杂度从平方级降为线性级的标准技术。其跨请求复用——即前缀缓存——依赖于提示词前缀在token块级别的精确匹配,任何动态内容都会破坏可复用的缓存段,触发完整预填充。本文从自注意力的数学定义出发,解析KV缓存原理,严格区分单请求内缓存与跨请求前缀缓存的工程实现差异;以分块匹配和基数树索引为背景,论述“静态前缀最大化、动态内容后置”的提示词架构设计原则。以某任务编排引擎的不可变约束注入为例,展示如何通过静态规则系统提示词后缀实现缓存复用最大化。同时
Alan_691
4 小时前
后端
·
缓存
商品详情优化三板斧-拆分-多级缓存-GC调参
本文为原创技术实践总结,代码均为可直接运行的示例实现。文中压测数字来自示例环境(4C8G 容器,FastAPI + Uvicorn),仅作量级参考,请以你的环境实测为准。
難釋懷
7 小时前
运维
·
nginx
·
缓存
Nginx-proxy缓存断点续传缓存 range
在音视频平台、软件下载站、OTA升级服务等场景中,一个令人头疼的现象反复出现:这些问题的根源在于:HTTP Range协议与Nginx proxy_cache的默认行为之间存在语义鸿沟。标准的proxy_cache将整个响应视为一个不可分割的原子单元,而Range请求要求将资源切分为可独立寻址、独立缓存的子范围。两者直接对接,必然产生碎片化、回源放大和续传失败。
杨运交
8 小时前
java
·
开发语言
·
缓存
[053][核心模块]Java枚举缓存与ORM集成实践
本文章代码: gitee , gitcode , github在实际业务开发中,枚举类型常用于表示状态、类型等固定集合。为了提升代码可维护性和数据库存储的便利性,通常会将枚举与自定义编码(code)关联,并存储到数据库。然而,枚举与数据库值之间的频繁转换会带来性能开销,同时不同框架(如 MyBatis、JPA)的转换逻辑往往重复实现。本文将介绍一套通用的枚举缓存工具及与 ORM 的集成方案,实现高效、统一的枚举映射。
難釋懷
13 小时前
运维
·
nginx
·
缓存
Nginx-proxy缓存清理
在CSDN上搜索“Nginx缓存清理”,排名靠前的文章大多给出这样的方案:这在测试环境或许能用,但在生产环境中,这是一次有计划的故障注入:
智码看视界
13 小时前
数据库
·
redis
·
缓存
·
中间件
·
穿透
·
雪崩
·
击穿
Day33-数据层 × 中间件AI化篇:Redis缓存经典问题-击穿、穿透、雪崩的终极解决方案
面试很喜欢问一题:"给我说说缓存穿透、缓存击穿、缓存雪崩的区别和解决方案。"能完整讲清楚的,十个里不到3个。今天这篇文章,把这三个问题从根因到代码一趟讲透。
智购科技自动售货机厂家
3 天前
数据库
·
人工智能
·
redis
·
缓存
·
架构
·
sublime text
·
phpstorm
自动售货机后台用Redis加速,4个缓存策略实战~YH
售货机后台的性能瓶颈在哪里?一台自动售货机的后台系统,随着设备规模的扩大,性能问题会逐渐暴露。一个典型场景:1000台设备同时在线,每台每10秒上报一次心跳和状态数据,后台每秒要处理100个写入请求。再加上用户端的商品查询、库存查看、历史交易查询——数据库很容易扛不住。
咩咩啃树皮
1 天前
前端
·
vue.js
·
缓存
第43篇:Vue3计算属性(computed)完全精讲——缓存机制、依赖计算、业务最优解
在 Vue 开发中,我们经常遇到基于现有数据推导新数据的场景:价格合计、筛选列表、文本格式化、状态判断。
海兰
2 天前
前端
·
数据库
·
redis
·
安全
·
缓存
·
bootstrap
【高速缓存】RedisVL 索引迁移指南:安全演进索引结构
实验性功能声明 索引迁移器目前为实验性特性,其 API、CLI 命令以及磁盘存储格式(计划、检查点、备份)在后续版本中可能发生变更。在生产环境应用迁移前,请务必仔细审查迁移计划。
海兰
1 天前
人工智能
·
redis
·
算法
·
缓存
·
json
·
哈希算法
【高速缓存】RedisVL 存储类型选择指南:Hash 与 JSON
Redis 提供了丰富的数据结构,可以很好地适配各种领域应用。RedisVL 作为一个 Python 客户端库,让您能方便地使用 Redis 的搜索和查询功能,并支持多种存储格式。本文介绍如何使用 RedisVL 操作 Hash 和 JSON 两种存储类型。
消失的旧时光-1943
3 天前
java
·
数据库
·
redis
·
缓存
第一篇:Redis 到底是什么?从进程、内存和通信开始讲清楚
很多人第一次接触 Redis 时,得到的解释通常只有一句话:Redis 是一个高性能缓存数据库。这句话不能说错,但对于刚开始学习 Redis 的人来说,帮助并不大。
YOU OU
2 天前
数据库
·
redis
·
缓存
Redis事务
Redis的事务和MySQL的事务概念是类似的,都是把一系列操作绑定成一组,让中一组能够批量执行Redis事务与MySQL事务的区别:
她说可以呀
2 天前
数据库
·
redis
·
缓存
Redis集群
主从 + 哨兵解决了自动故障转移,但数据仍在一套主从里,容量和 QPS 有上限. Redis Cluster 在此基础上解决两件事:数据分片 + 集群内自动故障迁移(不依赖外部 Sentinel)。
无小道
2 天前
linux
·
缓存
·
文件缓冲区
深入解析操作系统文件缓冲区:页缓存、基数树与f_pos的协同设计
本文整理自一系列关于操作系统文件 I/O 底层实现的探讨,包括但不限于回答以下核心问题:若你已有一定操作系统基础,下文将从设计原理和内核机制出发,给出连贯的回答。
無a伟
2 天前
数据库
·
redis
·
缓存
redis采用的单线程模型,为什么这么快?
Redis 单线程模型为什么这么快?彻底搞懂核心原理很多同学都有一个固有认知:多线程一定比单线程快。但 Redis 恰恰反常识:核心命令执行靠的是单线程,却能轻松支撑十万、百万级 QPS(服务器每秒能处理多少请求),性能远超很多多线程服务。
落落Plus
3 天前
javascript
·
缓存
·
浏览器缓存
浏览器缓存机制详解
它们其实代表了浏览器在加载网页时,按照先后顺序依次检查的缓存防线。下面我们将按照这 6 种缓存机制进行梳理,详细讲解它们是什么、何时缓存以及如何清除:
心机之蛙qee
3 天前
数据库
·
redis
·
缓存
Redis的主从、哨兵及集群
如果之前搭建过MySQL的一主二从,不用担心对Redis产生影响,因为MySQL 运行 mysqld 数据库进程,监听端口 3306;Redis 运行 redis-server 缓存进程,监听端口 6379(哨兵 26379); 两者是完全独立的软件程序,端口、进程、存储目录互不占用,不会互相抢占端口、内存、CPU。并且二者数据存放的目录、主从复制逻辑也不同。
qq_29757467
3 天前
redis
·
缓存
·
性能优化
RuoYi框架二次开发系列(五)性能优化、Redis缓存实战、分布式部署、接口限流与安全加固生产方案
在前四篇系列文章中,我们完成了RuoYi规范开发、数据权限、第三方集成、定时任务与工作流开发,已经可以搭建出功能完整、业务闭环的企业级后台系统。但能跑的系统 ≠ 生产可用系统。 在高并发、大数据量、集群部署的生产环境中,原生RuoYi存在诸多问题:接口响应慢、数据库压力大、重复查询、集群任务重复执行、接口被刷、权限越权、日志泄露等。 本篇为系列第五篇,聚焦生产环境核心优化与安全加固,从缓存实战、SQL优化、性能调优、分布式部署、接口限流、安全防护六个维度,提供全套可落地、可上线的生产级方案,解决系统卡顿、
老刘说AI
3 天前
人工智能
·
神经网络
·
机器学习
·
缓存
·
架构
·
sglang
SGLang 深度优化: Radix 缓存与复杂任务的极致吞吐
vLLM 的高并发原理:vLLM 解决的是 如何让模型跑得快的问题。SGLang是解决如何让业务逻辑跑得快。
AI分享猿
3 天前
缓存
·
ai编程
重度长上下文开发怎么选?先看缓存是否吃额度
重度长上下文开发最容易踩的坑,是只看套餐写了多少Token,却不问缓存按什么口径统计。大型仓库会反复带入文件、依赖关系和历史对话,缓存读取可能远高于新增输入与模型输出,最终决定额度消耗速度。