ollama部署及实践记录,虚拟环境,pycharm等

我的环境:ubutu 24.05

0.相关命令

复制代码
kt@kt4028:~/myproject/ollama-linux$ ollama --help
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.
复制代码
curl -fsSL https://ollama.com/install.sh | sh

2.创建虚拟环境

复制代码
conda create -n ollama_env python=3.10

3.下载测试模型

Qwen2.5-7B-Instruct-GPTQ-Int4

4.验证

复制代码
ollama --version

5.启动

复制代码
ollama serve

6.验证

7.pycharm 新建项目

8.安装依赖

复制代码
pip install ollama

8.1拉取

复制代码
ollama run qwen2.5:7b

(ollama_env) kt@kt4028:~/myproject/ollama$ ollama run qwen2.5:7b
pulling manifest 
pulling 2bada8a74506... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 4.7 GB                         
pulling 66b9ea09bd5b... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   68 B                         
pulling eb4402837c78... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.5 KB                         
pulling 832dd9e00a68... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  11 KB                         
pulling 2f15b3218f05... 100% ▕███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
success 
>>> 你是谁?
我是Qwen,一个由阿里云开发的大型语言模型,旨在帮助用户生成各种类型的文本,如文章、故事、诗歌等,并能回答问题和进行对话。我可以讲多种语言,致力于提供有用和准确的信息。如果您有任何问题或需要帮助,请随时告诉我!

9.新建测试代码

复制代码
import ollama

# 初始化 Ollama 客户端
client = ollama.Client(host='http://127.0.0.1:11434')

# 提示词
prompt = """
生成一个适合儿童的成语故事,故事应该包含以下部分:
1. 故事开头:小动物遇到困难。
2. 故事中间:动物朋友们帮助解决问题。
3. 故事结尾:小动物学会了团结的重要性。

同时为每个部分生成背景音乐和图片的提示词。
"""

# 调用 Qwen-7B-Chat-Int4 模型生成故事
response = client.generate(model='qwen2.5:7b', prompt=prompt)

# 解析生成结果
story = response['response']
print("生成的故事:")
print(story)

# 提取背景音乐提示
music_prompts = [
    "森林背景音乐,轻快的旋律,带有鸟鸣声",
    "温暖的音乐,带有友情的元素",
    "欢快的音乐,带有庆祝的氛围"
]

# 提取图片提示
image_prompts = [
    "小动物在森林中遇到困难,表情无助",
    "动物朋友们围在一起互相帮助,表情温暖",
    "小动物和朋友们一起庆祝胜利,背景是阳光明媚的森林"
]

print("\n背景音乐提示词:")
for prompt in music_prompts:
    print(prompt)

print("\n图片提示词:")
for prompt in image_prompts:
    print(prompt)

(ollama_env) kt@kt4028:~/myproject/ollama$ python ceshi.py
生成的故事:
### 成语故事《团结就是力量》

#### 背景音乐提示词:
- 动物鸣叫环绕乐曲(模拟森林的环境音)
- 温馨的家庭温暖旋律
- 传统的中国古风弦乐

#### 图片提示词:
1. 小动物们在一片广阔的草地上活动,背景有绿油油的草地和五彩斑斓的小花。
2. 小动物们的脸上表情丰富,有的焦急、有的困惑,表现出面对困难时的不同反应。
3. 一群团结一致的小动物们围坐在一起讨论问题的情景。
4. 成功解决问题后,小动物们开心地庆祝场景。

### 故事正文

#### 背景音乐提示词:
- 悦耳的自然之声
- 温馨的家庭温暖旋律

目前就这些

相关推荐
Vacancy空白37 分钟前
【Ubuntu常用命令】
linux·运维·ubuntu·ssh
老天文学家了1 小时前
课表周视图数据【示例】
linux·运维·服务器
榆榆欸1 小时前
7.从Server到Acceptor,优化Reactor模式的实现
linux·服务器·网络
小麦嵌入式1 小时前
Linux驱动开发实战(九):Linux内核pinctrl_map详解与优势分析
linux·c语言·汇编·驱动开发·stm32·嵌入式硬件·硬件工程
爪娃侠1 小时前
解决wsl2下CentOS 7 的 yum 仓库无法连接问题
linux·运维·centos
fengyehongWorld1 小时前
Linux 随机数据生成
linux·运维
海天一色y2 小时前
Pycharm(十一):字符串练习题
ide·python·pycharm
周Echo周2 小时前
5、vim编辑和shell编程【超详细】
java·linux·c++·后端·编辑器·vim
榆榆欸2 小时前
6.实现 Reactor 模式的 EventLoop 和 Server 类
linux·服务器·网络·c++·tcp/ip
前端提桶人2 小时前
Win11 安装 Sentry 监控
linux·前端