技术栈
rerank
liliangcsdn
7 小时前
人工智能
·
数据分析
·
embedding
·
llama
·
rerank
基于llama.cpp的量化版reranker模型调用示例
CPU平台transformers版reranker响应速度慢，这里尝试量化版模型，期望提高响应速度。