技术栈
缓存
天疆说
4 小时前
linux
·
运维
·
缓存
04 稳定性与性能调优实录:OOM 崩溃、并发槽位、前缀缓存与 DSpark 调参
《DeepSeek-V4-Flash 本地部署与公网服务化》系列 · 第 ④ 篇 / 共 5 篇 ① 硬件选型与 llama.cpp 部署 | ② API 鉴权与腾讯云公网桥接 | ③ 多协议支持:Anthropic 与 Responses API | ④ 稳定性与性能调优实录(本篇) | ⑤ 客户端接入:pi 与各类 SDK
csdn2015_
4 小时前
spring boot
·
缓存
·
mybatis
springboot +mybatis 查询myql开启程序级别缓存
在 Spring Boot + MyBatis 架构中,所谓的“程序级别缓存”(应用层缓存)通常有两种实现方式:
隔窗听雨眠
4 小时前
缓存
缓存增强生成CAG:用预加载KV缓存突破RAG实时检索瓶颈
检索增强生成已成为大语言模型接入外部知识的主流方案,广泛应用于知识助手、内部搜索工具和客户支持等生产场景。通过从向量数据库检索相关文档并注入提示,RAG让模型能在不重新训练的情况下生成更准确、更及时的回答。
光影少年
5 小时前
开发语言
·
前端
·
javascript
·
react native
·
react.js
·
缓存
·
前端框架
react离线缓存、图片缓存方案
React 做“离线缓存 + 图片缓存”,建议不要把它当成一个单一缓存问题,而是拆成三层:API / JSON 数据缓存
m0_38074387
16 小时前
缓存
给大模型调用加一层本地缓存,让重复请求直接命中磁盘
调试一个带大模型的脚本时,最磨人的不是写代码,是等。改一行提示词模板,重跑,前面十几个已经跑通的样本又要重新请求一遍,几十秒过去了,才轮到你真正想看的那一条。
FakeOccupational
18 小时前
笔记
·
stm32
·
缓存
【电路笔记 STM32】Cortex-M7 内核上的数据缓存(D-Cache)结构+MPU+DMA&Cache+STM32CubeMX配置
MPU 是 Memory Protection Unit(内存保护单元)是现代微控制器(如 STM32H7 的 Cortex-M7 内核)中内置的一个硬件模块,主要作用是监控和管理 CPU 对内存的访问行为 :
l1t
1 天前
数据库
·
缓存
·
postgresql
DeepSeek总结的在 pg_stat_statements 中诊断高基数工作负载
来源:https://pganalyze.com/blog/postgres-in-production-pg-stat-statements-deep-dive-part-6
2401_89491553
1 天前
运维
·
服务器
·
数据库
·
人工智能
·
缓存
·
开源
新手落地 Geo 优化:源码下载、依赖安装、数据库初始化完整步骤
Geo 优化(通常指地理位置相关的数据库优化或地理信息系统的性能调优)是许多涉及 LBS(基于位置的服务)应用的关键环节。对于新手开发者而言,从零开始搭建一个可以进行 Geo 优化的环境往往面临诸多挑战,例如源码获取、复杂的依赖项、数据库配置等。本文将提供一个清晰、完整的步骤指南,帮助你快速完成 Geo 优化环境的搭建,为后续的性能分析和调优打下坚实基础。
2401_89491553
1 天前
java
·
服务器
·
后端
·
缓存
·
开源
Geo 优化源码部署避坑指南:解决访问异常、定位失效、收录卡顿问题
在当今的互联网应用中,地理位置(Geo)服务已成为提升用户体验、实现精准营销和优化运营效率的关键能力。无论是外卖配送、出行导航、本地生活推荐,还是内容分发网络(CDN)的智能调度,其背后都离不开高效、稳定的 Geo 服务支撑。
祈禾
2 天前
运维
·
数据库
·
redis
·
笔记
·
分布式
·
缓存
Redis三大缓存问题与分布式锁
用户查询数据库、缓存都不存在的数据,比如传-1、负数用户ID、随机垃圾参数。 缓存查不到数据不会写入空记录,请求每次都会落到MySQL。黑客恶意批量请求不存在key,会直接压垮数据库。
码云骑士
2 天前
数据库
·
python
·
缓存
101-向量数据库性能调优-100QPS到10000QPS-索引-缓存-分区压测
📖 文章简介: 本文系统讲解向量数据库从百级QPS到万级QPS的全链路调优方法,是把RAG检索从"能用"压到"能扛"的实战指南。文章从性能三要素的不可能三角切入——QPS、延迟、召回率三者互相掣肘,调优本质是找到业务可接受的平衡点;随后按收益从大到小逐层推进:索引层(HNSW的ef、IVF的nprobe线上旋钮,以及"召回率每涨1%、延迟翻几倍"的边际递减规律)、硬件层(内存为王的容量计算公式、CPU核数与并发的关系、为什么GPU加速多数场景不划算)、缓存层(查询结果缓存、热点向量预加载、Embeddi
祈禾
2 天前
运维
·
服务器
·
数据库
·
redis
·
笔记
·
缓存
Redis三大特殊数据类型
Redis藏了三个专门适配特殊业务的新数据类型:Bitmap、HyperLogLog、Geospatial,让我们继续学习
孙启超
2 天前
人工智能
·
缓存
·
llm
·
向量数据库
·
bm25
·
向量化
·
ai应用开发
【AI应用开发】什么是混合检索(Hybrid Search)?向量检索 + BM25 关键词检索,适用场景与 RRF 融合原理
混合检索(Hybrid Search)= 向量检索(语义匹配)+ BM25 关键词检索(精确匹配),通过 RRF 等融合算法合并两路结果,取两者之长补各自之短。
y = xⁿ
2 天前
数据库
·
redis
·
缓存
一文掌握Redis常见八股
重点讲一下跳表(SkipList) 跳表本质上是一个多层链表,底层链表保存所有元素,上层链表是下层的子集。通过这种分层索引结构,把链表的 O(n) 查找优化到 O(log n)。
名字还没想好☜
2 天前
java
·
开发语言
·
缓存
·
反射
·
methodhandle
Java 用 MethodHandle 替代反射:调用性能实测、invokeExact 的坑与缓存
写框架、序列化库、动态代理时,免不了要「运行时调用一个编译期不知道的方法」。绝大多数人第一反应是反射:Method.invoke。能用,但在热路径上它有两个老毛病——调用有装箱和访问检查开销,而且 JIT 很难对它做深度内联优化。
acd12009
2 天前
数据库
·
redis
·
缓存
Redis 缓存和数据库一致性,到底怎么搞?
缓存和数据库不一致,是后端开发里一个绕不开的问题。很多人一开始觉得,不就是“写库之后删缓存”吗?但真到线上,你会发现事情没那么简单:
小当家.105
2 天前
java
·
后端
·
spring
·
缓存
·
llm
·
agent
LLM服务缓存与连接池管理:三层缓存架构与ChatClient池化
LLM 服务的调用成本远高于传统服务——单次调用延迟 1-10 秒,费用 $0.01-0.1。传统 Web 服务的缓存体系(基于精确键匹配)在 LLM 场景下部分失效,因为用户的输入是自然语言,同样的语义可以用无数种表述方式。
CodeBlog-star
2 天前
数据库
·
redis
·
缓存
AI Agent 高并发实战:Redis 限流、队列、缓存与高可用全栈方案
AI Agent 正逐渐从玩具变成生产力,但当你把 Agent 部署到生产环境时,高并发会成为第一个拦路虎。用户批量提交分析任务、并发调用大模型、实时查询任务进度……瞬间的高流量足以打垮数据库。本文将以一个真实 Agent 项目的演进为线索,深入剖析网关限流、Redis Streams 异步解耦、缓存高可用、分布式锁与集群容灾的全套解决方案,并给出大量可直接落地的 Python 代码,帮你彻底搞定 Agent 高并发。
小当家.105
2 天前
java
·
spring
·
缓存
·
token
·
上下文
Token成本控制实战:语义缓存、上下文压缩与工具缓存
LLM 按 Token 计费,一个中等规模的 AI 应用每天可能产生数百万 Token 消耗。以 GPT-4o 为例,input $2.50/1M tokens、output $10.00/1M tokens,一次包含 30 轮对话的练习会话可能消耗 15K+ tokens,月活 1000 用户的场景下月成本轻松过万。
thesky123456
3 天前
缓存
·
llmops
·
智能体
·
模型路由
·
成本工程
·
预算控制
·
小模型分工
智能体面试准备(二十六):Agent 成本工程——模型路由、缓存、预算控制与大小模型分工
上一篇《多模态 Agent》让 Agent 看得懂图、听得见话,但随之而来一个很现实的问题:每张图几百 token、每段视频上万 token、每轮对话都调一次大模型,账单会爆炸。这是 B 系列第二十六篇,也是本系列收官前的最后一块拼图。成本工程(Cost Engineering)是 2025 年之后 Agent 落地最被甲方在意的主题——模型能力再强,跑一个月烧掉一家公司也白搭。它和 B20 可观测性(成本归因)、A25 推理服务化(单位 token 成本)、B13 记忆(避免重复计算)都强相关。本文按"