本地安装Ollama并使用Python调用

前言

总是使用远程的API调用要不就是掉不通,要不就是需要申请key,太麻烦了,应该决定本地进行部署了,而Ollama专注于本地化轻量部署,强调开发者体验和易用性,适合原型开发、隐私敏感场景和资源受限环境。

下载

访问Ollama的官方网址:https://ollama.com/download。

下载后,安装的时候使用cmd进行安装,要不然总是默认安装在C盘中。

复制代码
OllamaSetup.exe /DIR="D:\Ollama"

然后即可进行安装在指定位置。

下载模型

使用Ollama pull 模型即可,可以在https://ollama.com/search上找支持的模型,也可以在HuggingFace上找支持Ollama部署的模型。

运行模型

使用ollama run 模型名即可运行对应的模型。

API接口

Ollama API 使用指南

Python调用

需要先安装ollama库,即:

bash 复制代码
pip install ollama

然后编写:

python 复制代码
from ollama import Client
from ollama import ChatResponse

# 创建 Client 实例,并显式指定 host 地址
# 127.0.0.1 是标准的本地回环地址,11434 是 Ollama 默认端口。
client = Client(host='http://127.0.0.1:11434')

response: ChatResponse = client.chat(model='llama3:latest', messages=[
    {
        'role': 'user',
        'content': '你是谁?请使用中文回答',
    },
])

# 打印响应内容
print(response['message']['content'])

运行结果:

复制代码
我是 LLaMA,一个由 MetaAI 开发的人工智能模型。我可以理解和生成人类语言,能够与用户交互、回答问题和产生内容。我的目标是帮助人们更好地communicate和获取信息。我是一个基于大规模语言模型的 AI,我的能力包括:

* 理解自然语言,能够识别语义和理解用户的意图
* 生成高质量的文本,能够创作文章、回答问题和产生对话
* 学习和改进自己的人工智能能力

我可以用于各种场景,例如客服、内容生成、知识分享等。我希望通过与你的交流,提高自己的能力和帮助更多的人。
相关推荐
goehou3 天前
两台 Mac 拼成推理池,加机器不加内存
mac·集群·ollama·本地推理
武雄(小星Ai)8 天前
Ollama报llama-server binary not found排坑实录:服务活着引擎没了
人工智能·windows·大模型·ollama·排坑
goehou8 天前
Ollama 的流式接口不是 SSE,客户端要改三处
sse·ollama·流式输出·客户端开发
n1121214 天前
Ollama 接 Open WebUI 中文界面:我踩的 4 个坑
云原生·eureka·ollama·本地大模型·open webui·私有部署·中文界面
一枕槐安48716 天前
开源大模型 Llama3 本地部署全过程,Ollama 上手
开源·本地部署·大模型推理·ollama·llama3·modelfile
死磕音视频18 天前
Open WebUI 入门:用 Docker 装上本地对话界面并连接 Ollama
docker·ollama·本地大模型·open webui
xzlAwin20 天前
Win10 安装 Ollama 本地AI
ai·ollama
还卿一钵无情泪22 天前
PEFT-Transformers、Unsloth、LLaMA-Factory 微调框架 横向对比
深度学习·大模型·llama·ollama
读完一本书22 天前
Ollama 跑得慢?我试了 6 个参数,只有 3 个真有用
人工智能·ollama
Flynn Liang22 天前
保姆级|Spring AI 2.0 第一个 Demo:Spring Boot 4 接入大模型(含国内可用方案 + 完整 pom)
人工智能·spring·ollama·springai·deepseek·springai入门·java接入大模型