ollama-python-Python快速部署Llama 3等大型语言模型最简单方法

ollama介绍

在本地启动并运行大型语言模型。运行Llama 3、Phi 3、Mistral、Gemma和其他型号。

Llama 3

Meta Llama 3 是 Meta Inc. 开发的一系列最先进的模型,提供8B70B参数大小(预训练或指令调整)。

Llama 3 指令调整模型针对对话/聊天用例进行了微调和优化,并且在常见基准测试中优于许多可用的开源聊天模型。

安装

pip install ollama

高性价比GPU资源:https://www.ucloud.cn/site/active/gpu.html?ytag=gpu_wenzhang_tongyong_shemei

用法

import ollamaresponse = ollama.chat(model='llama2', messages=[ { 'role': 'user', 'content': 'Why is the sky blue?', },])print(response['message']['content'])

流式响应

可以通过设置stream=True、修改函数调用以返回 Python 生成器来启用响应流,其中每个部分都是流中的一个对象。

import ollama stream = ollama.chat( model='llama2', messages=[{'role': 'user', 'content': 'Why is the sky blue?'}], stream=True, ) for chunk in stream: print(chunk['message']['content'], end='', flush=True)

应用程序编程接口

Ollama Python 库的 API 是围绕Ollama REST API设计的

聊天

ollama.chat(model='llama2', messages=[{'role': 'user', 'content': 'Why is the sky blue?'}])

新增

ollama.generate(model='llama2', prompt='Why is the sky blue?')

列表

ollama.list()

展示

ollama.show('llama2')

创建

modelfile=''' FROM llama2 SYSTEM You are mario from super mario bros. ''' ollama.create(model='example', modelfile=modelfile)

复制

ollama.copy('llama2', 'user/llama2')

删除

ollama.delete('llama2') Pull ollama.pull('llama2') push ollama.push('user/llama2')

嵌入

ollama.embeddings(model='llama2', prompt='The sky is blue because of rayleigh scattering')

定制客户端

可以使用以下字段创建自定义客户端:

  • host:要连接的 Ollama 主机
  • timeout: 请求超时时间

from ollama import Client client = Client(host='http://localhost:11434') response = client.chat(model='llama2', messages=[ { 'role': 'user', 'content': 'Why is the sky blue?', }, ])

异步客户端

import asyncio from ollama import AsyncClient async def chat(): message = {'role': 'user', 'content': 'Why is the sky blue?'} response = await AsyncClient().chat(model='llama2', messages=[message]) asyncio.run(chat())

设置stream=True修改函数以返回 Python 异步生成器:

import asyncio from ollama import AsyncClient async def chat(): message = {'role': 'user', 'content': 'Why is the sky blue?'} async for part in await AsyncClient().chat(model='llama2', messages=[message], stream=True): print(part['message']['content'], end='', flush=True) asyncio.run(chat())

错误

如果请求返回错误状态或在流式传输时检测到错误,则会引发错误。

model = 'does-not-yet-exist'try: ollama.chat(model)except ollama.ResponseError as e: print('Error:', e.error)if e.status_code == 404: ollama.pull(model)

相关推荐
呆头鹅AI工作室几秒前
[2025CVPR-目标检测方向] CorrBEV:多视图3D物体检测
人工智能·深度学习·神经网络·目标检测·计算机视觉·3d·卷积神经网络
泽安AI研习社7 分钟前
Cursor用户集体倒戈 !这14招让你榨干Claude Code【建议收藏】
人工智能·python
WoShop商城源码9 分钟前
短视频矩阵系统哪家好?全面解析与推荐
大数据·人工智能·其他·矩阵
阿星AI工作室11 分钟前
亚马逊AI编程软件Kiro:产品经理赶紧抱紧饭碗!
人工智能
自衍体科技15 分钟前
[架构设计] Prompt 的终局:从“指令集”到“意识生态系统”的范式革命
人工智能
POLOAPI20 分钟前
《Claude Code 超神指南:一行指令,代码能力直接拉满!》
人工智能·claude
kite的AI随笔20 分钟前
Windows安装Claude Code保姆级教程,白嫖Claude Code额度
人工智能
木昆子22 分钟前
大模型落地基础技术体系LLM<RAG<AI Agent<Training
人工智能·agent
静心问道34 分钟前
CPO:对比偏好优化—突破大型语言模型在机器翻译中的性能边界
人工智能·强化学习·ai技术应用
liliangcsdn34 分钟前
mac mlx大模型框架的安装和使用
java·前端·人工智能·python·macos