使用Ollama简单部署本地Qwen2

Ollama 是一个开源的、本地运行的 AI 聊天模型,允许在自己的设备上运行 LLM,无需依赖云服务。它支持多种 LLM。目前Ollama library已经支持Qwen2,可以直接使用。

首先安装ollama, 访问官网 下载 ollama 对应版本 Download Ollama on macOS

windows下选择exe ,然后运行安装,安装完成后。添加一个系统环境变量OLLAMA_MODELS,否则Ollama 会将模型默认下载到C盘,比如我这里指了D盘:

然后打开powershell 运行一下,注意不是CMD是powershell ,看是否安装成功

然后我们安装qwen大模型

复制代码
ollama run qwen2:1.5b

1.5b就是对应安装Qwen2 1.5b大模型,如果使用7b 就是 ollama run qwen2:7b

运行完成后就可以和大模型对话了,不过ollama 只有命令行模式运行,这里我下载了chatbox软件来运行,打开软件 模型设置选择ollama 以及 对应的ollama模型。

运行结果:

文章地址 使用Ollama简单部署本地Qwen2 -- AI小站

相关推荐
白熊1883 小时前
【图像生成大模型】Step-Video-T2V:下一代文本到视频生成技术
人工智能·opencv·yolo·计算机视觉·大模型·音视频
白熊1885 小时前
【通用智能体】Serper API 详解:搜索引擎数据获取的核心工具
人工智能·搜索引擎·大模型
小技工丨10 小时前
LLaMA-Factory:环境准备
机器学习·大模型·llama·llama-factory
AI大模型系统化学习21 小时前
Excel MCP: 自动读取、提炼、分析Excel数据并生成可视化图表和分析报告
人工智能·ai·大模型·ai大模型·大模型学习·大模型入门·mcp
老翅寒暑1 天前
AI模型的回调能力的理解和实现
ai·大模型·本地小模型
Mr.小海1 天前
重排序模型解读 mxbai-rerank-base-v2 强大的重排序模型
大模型
大模型铲屎官1 天前
【Python-Day 14】玩转Python字典(上篇):从零开始学习创建、访问与操作
开发语言·人工智能·pytorch·python·深度学习·大模型·字典
玩电脑的辣条哥1 天前
模型量化AWQ和GPTQ哪种效果好?
大模型·模型量化·gptq·awq
Panesle3 天前
阿里开源通义万相Wan2.1-VACE-14B:用于视频创建和编辑的一体化模型
人工智能·开源·大模型·文生视频·多模态·生成模型
幸福清风3 天前
【Liblib】基于LiblibAI自定义模型,总结一下Python开发步骤
ai·大模型·图片·liblib