Windows10安装ollama并运行本地大语言模型 入门一个最简单的智能体

Windows10安装ollama

powershell： irm https://ollama.com/install.ps1 | iex

安装的程序和目录位置：C:\Users\{用户名}\AppData\Local\Programs\Ollama\，C:\Users\{用户名}\.ollama\models\，C:\Users\{用户名}\AppData\Local\Ollama。

ollama安装大语言模型

powershell： ollama pull llama3:8b

大模型列表： ollama list

操作：

启动大模型：ollama run llama3:8b
启动大模型：ollama run llama3:8b "你好"
启动大模型：ollama run llama3:8b --keepalive -1s
后台大模型：ollama run llama3:8b --keepalive -1s "你好"
查看后台运行大模型：ollama ps
停止运行的大模型：ollama stop llama3:8b
查看模型详细信息： ollama show llama3:8b

Python代码调用本地大模型

import requests

# 调用本地 Ollama 大模型
def chat(prompt):
    r = requests.post("http://localhost:11434/api/generate",
        json={
            "model": "llama3:8b",
            "prompt": prompt,
            "stream": False
        })
    return r.json()["response"]

# 测试
print(chat("你好"))

安装requests模块：pip install requests，requests模块是一个非常流行的第三方库，用于发送HTTP请求。它提供了一种简单的方式来处理各种HTTP请求，如GET、POST等。

一个最简单的智能体

import requests

# 调用本地 Ollama 大模型
def chat(prompt):
    r = requests.post("http://localhost:11434/api/generate",
        json={
            "model": "llama3:8b",
            "prompt": prompt,
            "stream": False
        })
    return r.json()["response"]

def agent(query):
    # 1. 让大模型判断要做什么
    prompt = f"""
用户问题：{query}
你是一个智能体，可以调用工具：
- 计算器（格式：calc 1+1）
- 搜索（格式：search 内容）

只输出工具调用语句，不要多余内容。
"""
    action = chat(prompt)

    # 2. 执行工具
    if action.startswith("calc"):
        return eval(action.split()[1])
    elif action.startswith("search"):
        return f"搜索：{action[7:]}"
    else:
        return action

# 使用
print(agent("33+44等于几？"))