使用Ollama简单部署本地Qwen2

Ollama 是一个开源的、本地运行的 AI 聊天模型,允许在自己的设备上运行 LLM,无需依赖云服务。它支持多种 LLM。目前Ollama library已经支持Qwen2,可以直接使用。

首先安装ollama, 访问官网 下载 ollama 对应版本 Download Ollama on macOS

windows下选择exe ,然后运行安装,安装完成后。添加一个系统环境变量OLLAMA_MODELS,否则Ollama 会将模型默认下载到C盘,比如我这里指了D盘:

然后打开powershell 运行一下,注意不是CMD是powershell ,看是否安装成功

然后我们安装qwen大模型

复制代码
ollama run qwen2:1.5b

1.5b就是对应安装Qwen2 1.5b大模型,如果使用7b 就是 ollama run qwen2:7b

运行完成后就可以和大模型对话了,不过ollama 只有命令行模式运行,这里我下载了chatbox软件来运行,打开软件 模型设置选择ollama 以及 对应的ollama模型。

运行结果:

文章地址 使用Ollama简单部署本地Qwen2 -- AI小站

相关推荐
美林数据Tempodata6 小时前
大模型驱动数据分析革新:美林数据智能问数解决方案破局传统 BI 痛点
数据库·人工智能·数据分析·大模型·智能问数
bug菌2 天前
手把手教你DeepSeek-R1本地部署和企业知识库搭建(Ollama+DeepSeek+RAGFlow)【保姆级教学】
人工智能·ollama·deepseek
SuperHeroWu72 天前
【AI大模型入门指南】概念与专有名词详解 (一)
人工智能·ai·大模型·入门·概念
DZSpace3 天前
AI Agent 核心策略解析:Function Calling 与 ReAct 的设计哲学与应用实践
人工智能·大模型
Tadas-Gao3 天前
从碳基羊驼到硅基LLaMA:开源大模型家族的生物隐喻与技术进化全景
人工智能·机器学习·大模型·llm·llama
InternLM3 天前
论文分类打榜赛Baseline(2):InternLM昇腾硬件微调实践
人工智能·分类·大模型·internlm·书生大模型
救救孩子把4 天前
使用 uv 工具快速部署并管理 vLLM 推理环境
大模型·模型部署·uv·虚拟环境·vllm
渔舟唱晚@4 天前
大模型数据流处理实战:Vue+NDJSON的Markdown安全渲染架构
vue.js·大模型·数据流
Tadas-Gao5 天前
7种分类数据编码技术详解:从原理到实战
人工智能·机器学习·分类·数据挖掘·大模型·llm
橙子小哥的代码世界5 天前
【大模型RAG】Docker 一键部署 Milvus 完整攻略
linux·docker·大模型·milvus·向量数据库·rag