大模型缓存 - 大模型缓存技术,学习,经验文章

每天看一遍，防止恋爱&&堕落

5 个月前

5、大模型的记忆与缓存本节主要介绍大模型的缓存思路，通过使用常见的缓存技术，降低大模型的回复速度，下面介绍的是使用redis和mem0，当然redis的语义缓存还可以使用一些rag的检索库进行替代