KCache-go本地缓存,支持本地缓存过期、缓存过期自维护机制。

GitHub - kocor01/kcache: go 本地缓存解决方案,支持本地缓存过期、缓存过期自维护机制。

最近系统并发很高,单接口10W的 QPS,对 redis 压力很大,大量的热KEY导致 redis 分片CPU资源经常告警。计划用 go 本地缓存缓解 redis 的压力。

有多个系统需要使用本地缓存,写了 KCache 方便各个系统使用。

本地压测达到 100W QPS。

使用请参考 使用实例

创建KCache

  • 创建一个KCache, 默认本地缓存过期时间 5s

    复制代码
    kc := New()
  • 创建一个KCache, 自定义本地缓存过期时间

    复制代码
    kc := NewWithExp(2 * time.Second)

获取缓存

  • GET 获取缓存,函数不带参数,本地缓存过期时间为创建 KCache 时设置的全局过期时间。

    复制代码
      kc := New()
      d := kc.Get("myKey", GetData())

    GET 方法包含两个参数,第一个参数为缓存的key,第二个参数为获取缓存数据的函数。当缓存不存在时,会调用函数获取数据,并将数据缓存起来。 函数需符合 GetKcDatafunc 类型、返回值需符合 KcData 类型。

    复制代码
    type GetKcDatafunc func() KcData
    
    type KcData struct { 
      interface{} 
      error
    }

    示例:

    复制代码
    // 获取缓存数据
    func GetData() GetKcDatafunc {
      return func() KcData {
        // sleep 模拟从 Redis、DB 中获取数据
        time.Sleep(20 * time.Millisecond)
    
        d := map[string]string{
          "k1": "value1",
          "k2": "value2",
        }
        return KcData{d: d, err: nil}
      }
    }
  • Get 获取缓存,函数带参数

    复制代码
    kc := New()
    params := map[string]string{
      "k1": "value1",
      "k2": "value2",
    }
    d := kc.Get("myKey", GetDataV2("myKey", params))

    示例:

    复制代码
    // 获取缓存数据
    func GetDataV2(key string, params map[string]string) GetKcDatafunc {
      return func() KcData {
        // sleep 模拟从 Redis、DB 中获取数据,也可以先从 redis 获取数据, 如果获取不到,再从 DB 中获取。
        time.Sleep(20 * time.Millisecond)
    
        data := make(map[string]string)
        for k, v := range params {
          data[k+key] = v
        }
        return KcData{d: data, err: nil}
      }
    }
  • GetWithExp 获取缓存,自定义本地缓存时间

    复制代码
    kc := New() 
    exp := 2 * time.Second
    params := map[string]string{
      "k1": "value1",
      "k2": "value2",
    }
    d := kc.GetWithExp("myKey", exp, GetDataV2("myKey", params))

GetKcDatafunc 实现

  • Kcache 中间函数(强烈推荐)

    通过 Kcache 中间函数调用原有的获取数据函数,该函数内部不含任何业务代码,减少业务代码与缓存代码的耦合。

    复制代码
    kc := New()
    exp := 2 * time.Second
    params := map[string]string{
      "k1": "value1",
      "k2": "value2",
    }
    d := kc.GetWithExp("myKey", exp, GetDataKcache("myKey", params))
    
    // 获取缓存数据, Kcache 中间函数
    func GetDataKcache(key string, params map[string]string) GetKcDatafunc {
      return func() KcData {
        data, err := GetDataV2(key, params)
        return KcData{Data: data, Err: err}
      }
    }
    
    // 获取数据
    func GetDataV2(key string, params map[string]string) (map[string]string, error) {
      // sleep 模拟从 Redis、DB 中获取数据,也可以先从 redis 获取数据, 如果获取不到,再从 DB 中获取。
      time.Sleep(20 * time.Millisecond)
      data := make(map[string]string)
        for k, v := range params {
        data[k+key] = v
      }
      return data, nil
    }
  • 闭包函数(推荐)

    简单获取数据的业务逻辑可以使用闭包函数。

    复制代码
    kc := New()
    params := map[string]string{
      "k1": "value1",
      "k2": "value2",
    }
    key := "myKey"
    fc := func() KcData {
      // sleep 模拟从 Redis、DB 中获取数据,也可以先从 redis 获取数据, 如果获取不到,再从 DB 中获取。
      time.Sleep(20 * time.Millisecond)
      data := make(map[string]string)
      for k, v := range params {
          data[k+key] = v
      }
      return KcData{Data: data, Err: nil}
    }
    d := kc.Get(key, fc)
  • 业务混合

    复制代码
    kc := New()
    d := kc.Get("myKey", GetData())
    
    // 获取缓存数据
    func GetData() GetKcDatafunc {
      return func() KcData {
        // sleep 模拟从 Redis、DB 中获取数据
        time.Sleep(20 * time.Millisecond)
        d := map[string]string{
          "k1": "value1",
          "k2": "value2",
        }
        return KcData{Data: d, Err: nil}
      }
    }

设置缓存

  • Set 设置缓存,本地缓存过期时间为创建 KCache 时设置的全局过期时间。

    正常情况下无需使用 Set 方法,因为 Get 方法会自动设置缓存。

    复制代码
    kc := New()
    params := map[string]string{
      "k1": "value1",
      "k2": "value2",
    }
    d := kc.Set("myKey", params)
  • SetWithExp 设置缓存,自定义本地缓存时间。

    正常情况下无需使用 SetWithExp 方法,因为 Get 方法会自动设置缓存。

    复制代码
    kc := New()
    exp := 2 * time.Second
    params := map[string]string{
      "k1": "value1",
      "k2": "value2",
    }
    d := kc.SetWithExp("myKey", params, exp)

删除缓存

  • Delete 删除本地缓存

    正常情况下无需使用 Delete 方法,因为有自动删除缓存机制。

    复制代码
    kc := New()
    params := map[string]string{
      "k1": "value1",
      "k2": "value2",
    }
    d := kc.Delete("myKey")

单纯使用本地缓存

  • 不需要自维护缓存数据

  • 底层使用的 go-cache,go-cache下的所有方法都可以使用。

    复制代码
    kc := New()
    // SET
    kc.lc.Set("myKey", "myValue", 2*time.Second)
    // GET
    d, f := kc.lc.Get("myKey")
    // other
    ...

更多使用案列请参考 使用实例

相关推荐
Zhang~Ling12 小时前
Redis 基础教程:从常用命令到实际业务场景
数据库·redis·缓存
FungLeo13 小时前
成为全栈·Go 后端篇·用 Go 重写分层架构:领域包、装配根与最小抽象
golang·go·领域驱动设计·gorm·分层架构·成为全栈
我不会起名字32214 小时前
Go 服务升级 Go 1.2x 后 P99 变差:GMP 调度相关的 3 个变化
golang·go·gmp·调度·gomaxprocs
程序员清风14 小时前
缓存、索引与数据结构的工程选择
数据结构·spring·缓存
code2cat15 小时前
【随笔】RAG语义缓存:问题很相似,答案就能直接复用吗
java·缓存·知识库·rag
小静AI工程实验室16 小时前
AI 应用缓存键怎么设计?租户、模型、提示词与索引版本的 7 项离线验证
缓存
北京地铁1号线16 小时前
后端开发:缓存(Cache)简介
后端·缓存·cache
李纲明17 小时前
WordPress 结账页一直转圈不跳支付:AJAX、缓存排除、支付回调和 REST 怎么逐层核
运维·ajax·缓存·wordpress·woocommerce·devdiy·结账
孔令飞1 天前
知己知彼,百战不殆:AI SKILL 实现原理剖析
云原生·go·ai编程
程序猿编码1 天前
纯 C++ 手写 LLM 推理引擎:分页 KV 缓存、连续批、多卡张量并行全部内置
c++·深度学习·缓存·大模型推理·自动微分·模型推理