使用Ollama简单部署本地Qwen2

Ollama 是一个开源的、本地运行的 AI 聊天模型,允许在自己的设备上运行 LLM,无需依赖云服务。它支持多种 LLM。目前Ollama library已经支持Qwen2,可以直接使用。

首先安装ollama, 访问官网 下载 ollama 对应版本 Download Ollama on macOS

windows下选择exe ,然后运行安装,安装完成后。添加一个系统环境变量OLLAMA_MODELS,否则Ollama 会将模型默认下载到C盘,比如我这里指了D盘:

然后打开powershell 运行一下,注意不是CMD是powershell ,看是否安装成功

然后我们安装qwen大模型

复制代码
ollama run qwen2:1.5b

1.5b就是对应安装Qwen2 1.5b大模型,如果使用7b 就是 ollama run qwen2:7b

运行完成后就可以和大模型对话了,不过ollama 只有命令行模式运行,这里我下载了chatbox软件来运行,打开软件 模型设置选择ollama 以及 对应的ollama模型。

运行结果:

文章地址 使用Ollama简单部署本地Qwen2 -- AI小站

相关推荐
Golinie3 小时前
Ollama+Langchaingo+Gin开发本地LLM简单应用
大模型·gin·ollama·langchaingo
TGITCIC5 小时前
BERT与Transformer到底选哪个-下部
人工智能·gpt·大模型·aigc·bert·transformer
TGITCIC1 天前
BERT与Transformer到底选哪个-上部
人工智能·gpt·大模型·aigc·bert·transformer
白云千载尽1 天前
AI时代下的编程——matlib与blender快捷编程化、初始MCP
java·人工智能·大模型·llm·blender
Ki13812 天前
将树莓派5当做Ollama服务器,C#调用generate的API的示例
linux·树莓派·ollama
Learn-Share_HY3 天前
[Python]如何利用Flask搭建一個Web服務器,並透過Ngrok訪問來實現LINE Bot功能?
linux·人工智能·python·ubuntu·flask·ollama·ngrok
laopeng3013 天前
Spring AI ToolCalling 扩展模型能力边界
java·人工智能·大模型·spring ai
放羊郎3 天前
OpenCV、YOLO与大模型的区别与关系
人工智能·opencv·yolo·大模型
姚家湾4 天前
MCP 学习笔记(1)
大模型·mcp
素雪风华4 天前
大模型LLMs框架Langchain之工具Tools
langchain·大模型·tools·llms·langchain工具包