ollama部署及实践记录,虚拟环境,pycharm等

我的环境:ubutu 24.05

0.相关命令

复制代码
kt@kt4028:~/myproject/ollama-linux$ ollama --help
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.
复制代码
curl -fsSL https://ollama.com/install.sh | sh

2.创建虚拟环境

复制代码
conda create -n ollama_env python=3.10

3.下载测试模型

Qwen2.5-7B-Instruct-GPTQ-Int4

4.验证

复制代码
ollama --version

5.启动

复制代码
ollama serve

6.验证

7.pycharm 新建项目

8.安装依赖

复制代码
pip install ollama

8.1拉取

复制代码
ollama run qwen2.5:7b

(ollama_env) kt@kt4028:~/myproject/ollama$ ollama run qwen2.5:7b
pulling manifest 
pulling 2bada8a74506... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 4.7 GB                         
pulling 66b9ea09bd5b... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   68 B                         
pulling eb4402837c78... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.5 KB                         
pulling 832dd9e00a68... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  11 KB                         
pulling 2f15b3218f05... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
success 
>>> 你是谁?
我是Qwen,一个由阿里云开发的大型语言模型,旨在帮助用户生成各种类型的文本,如文章、故事、诗歌等,并能回答问题和进行对话。我可以讲多种语言,致力于提供有用和准确的信息。如果您有任何问题或需要帮助,请随时告诉我!

9.新建测试代码

复制代码
import ollama

# 初始化 Ollama 客户端
client = ollama.Client(host='http://127.0.0.1:11434')

# 提示词
prompt = """
生成一个适合儿童的成语故事,故事应该包含以下部分:
1. 故事开头:小动物遇到困难。
2. 故事中间:动物朋友们帮助解决问题。
3. 故事结尾:小动物学会了团结的重要性。

同时为每个部分生成背景音乐和图片的提示词。
"""

# 调用 Qwen-7B-Chat-Int4 模型生成故事
response = client.generate(model='qwen2.5:7b', prompt=prompt)

# 解析生成结果
story = response['response']
print("生成的故事:")
print(story)

# 提取背景音乐提示
music_prompts = [
    "森林背景音乐,轻快的旋律,带有鸟鸣声",
    "温暖的音乐,带有友情的元素",
    "欢快的音乐,带有庆祝的氛围"
]

# 提取图片提示
image_prompts = [
    "小动物在森林中遇到困难,表情无助",
    "动物朋友们围在一起互相帮助,表情温暖",
    "小动物和朋友们一起庆祝胜利,背景是阳光明媚的森林"
]

print("\n背景音乐提示词:")
for prompt in music_prompts:
    print(prompt)

print("\n图片提示词:")
for prompt in image_prompts:
    print(prompt)

(ollama_env) kt@kt4028:~/myproject/ollama$ python ceshi.py
生成的故事:
### 成语故事《团结就是力量》

#### 背景音乐提示词:
- 动物鸣叫环绕乐曲(模拟森林的环境音)
- 温馨的家庭温暖旋律
- 传统的中国古风弦乐

#### 图片提示词:
1. 小动物们在一片广阔的草地上活动,背景有绿油油的草地和五彩斑斓的小花。
2. 小动物们的脸上表情丰富,有的焦急、有的困惑,表现出面对困难时的不同反应。
3. 一群团结一致的小动物们围坐在一起讨论问题的情景。
4. 成功解决问题后,小动物们开心地庆祝场景。

### 故事正文

#### 背景音乐提示词:
- 悦耳的自然之声
- 温馨的家庭温暖旋律

目前就这些

相关推荐
又过一个秋13 分钟前
【sylar-webserver】重构日志系统
linux·c++·算法·重构
yy_xzz14 分钟前
Visual Studio 2022 运行一个后台程序而不显示控制台窗口
ide·visual studio
JhonKI36 分钟前
【Linux网络】构建UDP服务器与字典翻译系统
linux·服务器·网络·tcp/ip·udp
伤不起bb1 小时前
系统安全及应用
linux·运维·网络·安全·系统安全
啊吧怪不啊吧1 小时前
Linux常见指令介绍中(入门级)
linux·运维·服务器
鹏大师运维2 小时前
用银河麒麟 LiveCD 快速查看原系统 IP 和打印机配置
linux·ip地址·国产化·国产操作系统·打印机·统信uos·livecd
楠奕2 小时前
neo4j-community-3.5.5-unix.tar.gz安装
linux·服务器·数据库
Rudon滨海渔村2 小时前
Linux通用一键换源脚本.sh - ubuntu、centos全自动更换国内源 - LinuxMirrors神器
linux·运维·ubuntu·centos·换源
小琪琪:)2 小时前
【Linux】vim配置----超详细
linux·运维·vim
JAVA坚守者3 小时前
Java 服务器端 jar 包内 class 文件替换与配置文件修改高级技术指南
java·pycharm·jar