Windows10安装ollama并运行本地大语言模型 入门一个最简单的智能体

Windows10安装ollama

powershell: irm https://ollama.com/install.ps1 | iex

安装的程序和目录位置:C:\Users\{用户名}\AppData\Local\Programs\Ollama\,C:\Users\{用户名}\.ollama\models\,C:\Users\{用户名}\AppData\Local\Ollama。

ollama安装大语言模型

powershell: ollama pull llama3:8b

大模型列表: ollama list

操作:

复制代码
启动大模型:ollama run llama3:8b
启动大模型:ollama run llama3:8b "你好"
启动大模型:ollama run llama3:8b --keepalive -1s
后台大模型:ollama run llama3:8b --keepalive -1s "你好"
查看后台运行大模型:ollama ps
停止运行的大模型:ollama stop llama3:8b
查看模型详细信息: ollama show llama3:8b

Python代码调用本地大模型

复制代码
import requests

# 调用本地 Ollama 大模型
def chat(prompt):
    r = requests.post("http://localhost:11434/api/generate",
        json={
            "model": "llama3:8b",
            "prompt": prompt,
            "stream": False
        })
    return r.json()["response"]

# 测试
print(chat("你好"))

安装requests模块:pip install requests,requests模块是一个非常流行的第三方库,用于发送HTTP请求。它提供了一种简单的方式来处理各种HTTP请求,如GET、POST等。

一个最简单的智能体

复制代码
import requests

# 调用本地 Ollama 大模型
def chat(prompt):
    r = requests.post("http://localhost:11434/api/generate",
        json={
            "model": "llama3:8b",
            "prompt": prompt,
            "stream": False
        })
    return r.json()["response"]

def agent(query):
    # 1. 让大模型判断要做什么
    prompt = f"""
用户问题:{query}
你是一个智能体,可以调用工具:
- 计算器(格式:calc 1+1)
- 搜索(格式:search 内容)

只输出工具调用语句,不要多余内容。
"""
    action = chat(prompt)

    # 2. 执行工具
    if action.startswith("calc"):
        return eval(action.split()[1])
    elif action.startswith("search"):
        return f"搜索:{action[7:]}"
    else:
        return action

# 使用
print(agent("33+44等于几?"))
相关推荐
一起学安全技术1 天前
拆大模型 11|大模型面试拷问:12 问逐层拆
人工智能·ai·语言模型·面试·职场和发展·求职招聘
学无止境小袁同学2 天前
LangGraph 深度指南
语言模型·框架·agent·并发·上下文·langgraph·长期记忆
一起学安全技术2 天前
拆大模型 10|结构化输出:让模型返回数据,而不是一段话
人工智能·语言模型·json
Dawson Zhu4 天前
【分布式训练⑧】通信优化:NCCL、Ring AllReduce与计算通信重叠
人工智能·语言模型·架构·aigc·agi
Dawson Zhu6 天前
【分布式训练④】张量并行与序列并行:把单层参数切碎分到多张卡
人工智能·语言模型·架构·aigc·agi
如夏倾城6 天前
百度文心(容易被忽略的好用AI)使用方式
人工智能·python·百度·语言模型·dubbo
xiaoye-duck6 天前
《C++ 项目:手写大模型接入 SDK》会话模块整合:内存 SessionManager 与 DataManager 持久化联动
开发语言·数据库·c++·语言模型
syyjhchou6 天前
自己搭企业内部中转站,怎么让请求更容易命中缓存
人工智能·后端·语言模型·aigc
Dawson Zhu7 天前
Queen Planner深度解析:Agent竞争从模型时代进入系统时代
人工智能·语言模型·架构·aigc·agi
硅谷秋水7 天前
EgoHumanoid‑V2 方法分析
人工智能·机器学习·计算机视觉·语言模型·机器人