技术栈
混合搜索
天然玩家
6 个月前
elasticsearch
·
大模型
·
llm
·
rag
·
混合搜索
RAG实践:ES混合搜索BM25+kNN(cosine)
最近在研究与应用混合搜索, 存储介质为ES,ES作为大佬牌数据库, 非常友好地支持关键词检索和向量检索, 当然,支持混合检索(关键词检索+向量检索), 是提升LLM响应质量RAG(Retrieval-augmented Generation)的一种技术手段, 那么,如何通过ES实现混合搜索呢? 请看本篇文章。
江小皮不皮
7 个月前
python
·
elasticsearch
·
llm
·
知识库
·
向量搜索
·
混合搜索
python使用elasticserch进行混合搜索构建知识库
待写入数据存储在json文件中,里面是query和answer的对子。IK 分词器可以将中文文本切分成一个个有意义的词语,并计算这些词语的词频(term frequency,TF),用于构建倒排索引。在搜索时,Elasticsearch 会根据查询词的词频和文档中各个词语的词频来计算文档的相关性得分,从而排序返回搜索结果。