windows系统ollama安装和使用

ollama安装

直接官网安装要6到7小时,用迅雷几分钟

  1. 安装迅雷

  2. 把下面链接复制到迅雷里下载:
    https://github.com/ollama/ollama/releases/latest/download/OllamaSetup.exe

  3. 下载后按提示安装

  4. 验证是否安装成功
    cmd叉掉重新打开,输入

    ollama --version

弹出版本号即可验证安装成功

模型安装

  1. 模型选型号
    我问的kimi,提供操作系统和显存大小让它推荐
    我的是windwos,4G,选了qwen2.5
  2. 模型下载
    以下皆cmd下载

方法一:

直接ollama pull 比较慢:

复制代码
ollama pull qwen2.5:3b

方法二:

用modelscope的地址下载

https://modelscope.cn/models?name=qwen2.5 3b\&page=1\&tabKey=task

选GGUF的(ollama支持),打开

复制代码
ollama pull modelscope.cn/地址

这里地址是图片上的可复制的Qwen/Qwen2.5-3B-Instruct-GGUF

  1. 运行

    ollama run modelscope.cn/地址

    ollama run modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF

模型使用

python 复制代码
import requests

def query_ollama(prompt, model="modelscope.cn/Qwen/Qwen2.5-3B-Instruct-GGUF"):
    url = "http://localhost:11434/api/generate"
    data = {
        "model": model,
        "prompt": prompt,
        "stream": False  # 设置为 True 可以获取流式响应
    }
    
    response = requests.post(url, json=data)
    if response.status_code == 200:
        return response.json()["response"]
    else:
        raise Exception(f"API 请求失败: {response.text}")

# 使用示例
response = query_ollama("你好,请介绍一下你自己")
print(response)

要事先建好环境,环境里得有相关的包才能运行

运行结果:

相关推荐
NGBQ1213812 天前
Imgflip社交媒体表情包数据集-202208条多模板meme数据-包含完整图片URL和文本说明-适用于NLP模型训练和社交媒体分析
人工智能·自然语言处理·媒体
homelook12 天前
Transformer架构,这是现代自然语言处理和人工智能领域的核心技术。
人工智能·自然语言处理·transformer
赋创小助手12 天前
服务器主板为何不再采用ATX?以超微X14DBM-AP 为例解析
运维·服务器·人工智能·深度学习·自然语言处理·硬件架构
摘星编程12 天前
大语言模型(Large Language Models,LLM)如何颠覆未来:深入解析应用、挑战与趋势
人工智能·语言模型·自然语言处理
小陈phd13 天前
多模态大模型学习笔记(六)——多模态全景认知
人工智能·机器学习·自然语言处理
taoqick13 天前
修改GRPO Advantages的一些思路(pass@k)
人工智能·机器学习·自然语言处理
云器科技13 天前
云器Lakehouse新版本特性解读:MCP Server —— AI 数据工程师的深度解析与实战指南
大数据·人工智能·自然语言处理·数据平台·湖仓平台
陈天伟教授13 天前
人工智能应用- 预测化学反应:06. BERT 模型简介
人工智能·深度学习·机器学习·自然语言处理·bert·推荐算法
Loo国昌13 天前
【AI应用开发实战】Guardrail风险控制中间件:Agent系统的安全防线
人工智能·python·安全·自然语言处理·中间件·prompt
小龙报14 天前
【Coze-AI智能体平台】Coze 工作流 = 智能体的 “流程管家”?一文解锁自动化落地新玩法
人工智能·语言模型·自然语言处理·性能优化·数据分析·知识图谱·需求分析