LLM之RAG实战(五十六)| Ollama部署下载Qwen3-Embedding向量模型和Qwen3-Reranker重排模型

参考文献:https://blog.csdn.net/qq363685855/article/details/148512248

之前分享过LLM之RAG实战(五十五)| 阿里开源新模型,Qwen3-Embedding与Qwen3 Reranker强势来袭!。本文将分享如何使用ollama来部署这些模型。

一、首先,需要安装Ollama

打开官网下载:https://ollama.com/download

根据自己的操作系统下载对应的版本即可。正常来说,是可以安装成功的。下面介绍一下特殊情况或者其他安装方式。

a)对于Mac电脑,也可以通过Homebrew进行安装

复制代码
brew install ollama

b)对linux服务器,有时候不能连接外网,因此需要离线安装,可以参考文献:https://blog.csdn.net/m0_71142057/article/details/143186418。

核心点是可以copy文章的install.sh然后下载ollama离线文件,并把他们放到同一个目录下,执行运行install.sh即可,如下图所示:

可以通过命令lscpu来查看操作系统版本,我是x86_64。

复制代码
chmod +x ./install.sh./install.sh

二、下载Qwen3-Embedding模型

复制代码
ollama run dengcao/Qwen3-Embedding-0.6B:F16

下面列出Qwen3-Embedding和Qwen3-Reranker各个版本的Ollama安装命令。

Qwen3-Embedding-0.6B系列:​​​​​​​

复制代码
ollama run dengcao/Qwen3-Embedding-0.6B:Q8_0ollama run dengcao/Qwen3-Embedding-0.6B:F16

Qwen3-Embedding-4B系列:​​​​​​​

复制代码
ollama run dengcao/Qwen3-Embedding-4B:Q4_K_Mollama run dengcao/Qwen3-Embedding-4B:Q5_K_Mollama run dengcao/Qwen3-Embedding-4B:Q8_0ollama run dengcao/Qwen3-Embedding-8B:F16

Qwen3-Embedding-8B系列:​​​​​​​

复制代码
ollama run dengcao/Qwen3-Embedding-8B:Q4_K_Mollama run dengcao/Qwen3-Embedding-8B:Q5_K_Mollama run dengcao/Qwen3-Embedding-8B:Q8_0

Qwen3-Reranker-0.6B系列:​​​​​​​

复制代码
ollama run dengcao/Qwen3-Reranker-0.6B:Q8_0ollama run dengcao/Qwen3-Reranker-0.6B:F16

Qwen3-Reranker-4B系列:​​​​​​​

复制代码
ollama run dengcao/Qwen3-Reranker-4B:Q4_K_Mollama run dengcao/Qwen3-Reranker-4B:Q5_K_Mollama run dengcao/Qwen3-Reranker-4B:Q8_0

Qwen3-Reranker-8B系列:​​​​​​​

复制代码
ollama run dengcao/Qwen3-Reranker-8B:Q3_K_Mollama run dengcao/Qwen3-Reranker-8B:Q4_K_Mollama run dengcao/Qwen3-Reranker-8B:Q5_K_Mollama run dengcao/Qwen3-Reranker-8B:Q8_0ollama run dengcao/Qwen3-Reranker-8B:F16

关于量化版本的说明:

  • q8_0:与浮点数16几乎无法区分。资源使用率高,速度慢。不建议大多数用户使用。

  • q6_k:将Q8_K用于所有张量。

  • q5_k_m:将 Q6_K 用于一半的 attention.wv 和 feed_forward.w2 张量,否则Q5_K。

  • q5_0: 原始量化方法,5位。精度更高,资源使用率更高,推理速度更慢。

  • q4_k_m:将 Q6_K 用于一半的 attention.wv 和 feed_forward.w2 张量,否则Q4_Kq4_0:原始量化方法,4 位。

  • q3_k_m:将 Q4_K 用于 attention.wv、attention.wo 和 feed_forward.w2 张量,否则Q3_K

  • q2_k:将 Q4_K 用于 attention.vw 和 feed_forward.w2 张量,Q2_K用于其他张量。

    根据经验,建议使用 Q5_K_M,因为它保留了模型的大部分性能。或者,如果要节省一些内存,可以使用 Q4_K_M。

相关推荐
zeroporn11 天前
以玄幻小说方式打开深度学习词嵌入算法!! 使用Skip-gram来完成 Word2Vec 词嵌入(Embedding)
人工智能·深度学习·算法·自然语言处理·embedding·word2vec·skip-gram
一个处女座的程序猿12 天前
LLMs之Embedding:Qwen3 Embedding的简介、安装和使用方法、案例应用之详细攻略
llm·embedding
酌沧14 天前
Qwen3 Embedding 结构-加载-训练 看透模型设计哲学
人工智能·embedding
羊小猪~~14 天前
【NLP入门系列三】NLP文本嵌入(以Embedding和EmbeddingBag为例)
人工智能·深度学习·神经网络·自然语言处理·大模型·nlp·embedding
jieshenai15 天前
MTEB:基于 Embedding 的文本分类评估与实战解析
人工智能·分类·embedding
LeeZhao@16 天前
【狂飙AGI】第6课:前沿技术-文生图(系列2)
人工智能·自然语言处理·aigc·embedding·agi
LeeZhao@20 天前
【狂飙AGI】第4课:前沿技术-具身智能
语言模型·自然语言处理·aigc·embedding·agi
Python测试之道22 天前
RAG实战:基于LangChain的《肖申克的救赎》知识问答系统构建指南
langchain·embedding·rag·deepseek
AlfredZhao24 天前
曾经风光无限的 Oracle DBA 已经落伍了吗?
ai·vector·embedding·onnx·hnsw·ivf