RAG实战基础篇/windows电脑快速部署qwen3:14B

现阶段,在本地部署ollama非常简单,准备好一个有GPU的电脑,十分钟轻松部署qwen3:14b。实现本地的大模型部署。

我这里为了方便起见,直接使用windows电脑下载一个ollama。

访问ollama GIthub地址:ollama开源地址

直接下载安装包:

双击安装;

安装完毕后,我们在windows终端中输入:ollama --version

出现版本号就安装成功了:

然后,我们用ollama在本地拉取一个qwen3:14b下来:

复制代码
ollama run qwen3:14b

我们等待完成

运行成功就可以对话了:

我们用nvidia-smi查看一下显存:

14B(int4量化)占用了11.5G的显存。

我们可以测试一下API是否能够正常调用:

我们请求本地接口:http://localhost:11434/v1/chat/completions

选择POST方法

请求体输入:

复制代码
{
    "model": "qwen3:14b",
    "messages": [{
    "role": "user",
    "content": "你现在是一个翻译,我发你一段文字,你翻译成日语。"
    },
    {
    "role": "assistant",
    "content": "好的"
    },
    {
    "role": "user",
    "content": "今天天气怎样?"
    }],
    "stream": false
}

可以看到本地大模型已经通了。

如果需要流式输出,将stream字段修改为true即可。

现在我们已经准备好本地的大模型环境了,后续我们将基于本地的大模型搭建一个小型RAG应用,实现自己个人知识库的问答。

相关推荐
静心问道37 分钟前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.01 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12011 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
数据与人工智能律师2 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
chenchihwen2 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
说私域2 小时前
公域流量向私域流量转化策略研究——基于开源AI智能客服、AI智能名片与S2B2C商城小程序的融合应用
人工智能·小程序
Java樱木2 小时前
AI 编程工具 Trae 重要的升级。。。
人工智能
凪卄12132 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm
AI赋能3 小时前
自动驾驶训练-tub详解
人工智能·深度学习·自动驾驶
deephub3 小时前
AI代理性能提升实战:LangChain+LangGraph内存管理与上下文优化完整指南
人工智能·深度学习·神经网络·langchain·大语言模型·rag