Ollama安装部署CodeGeeX4 - ALL - 9B

一、模型本地部署准备

1、

conda create -n ollama python==3.8

2、

curl -fsSL https://ollama.com/install.sh | sh

3、验证安装

安装完成后，通过运行以下命令来验证Ollama是否正确安装：

ollama --version

4、启动ollama

ollama serve

模型地址：

安装

#执行以下命令即可部署运行ollama run glm4
ollama run codegeex4

二、codegeex4部署运行

1、

ollama run codegeex4

启动之后，就可以进行对话测试了。

2、模型对话体验

Ollama启动后可以直接输入提示信息，按回车键发送即可

三、下载GGUF模型

使用modelscope下载

先安装 pip install modelscope

命令1

modelscope download --model=LLM-Research/glm-4-9b-chat-GGUF --local_dir . glm-4-9b-chat.Q5_K.gguf

命令2

modelscope download --model=LLM-Research/codegeex4-all-9b-GGUF --local_dir . codegeex4-all-9b-Q5_K_M.gguf

3.1

四、使用

启动ollama服务
ollama serve
创建ModelFile

复制模型路径，创建名为"ModelFile"的meta文件，内容如下：

FROM /path/to/glm-4-9b-chat.Q5_K.gguf
#FROM /path/to/codegeex4-all-9b-Q5_K_M.gguf

set parameters

PARAMETER stop "<|system|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|assistant|>"

TEMPLATE """[gMASK]<sop>{{ if .System }}<|system|>
{{ .System }}{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}{{ end }}<|assistant|>
{{ .Response }}"""

3.创建自定义模型

使用ollama create命令创建自定义模型
ollama create myglm4 --file ModelFile

4.运行模型
ollama run myglm4

五、模型API调用

ollama启动后会对外提供端口为11434的API服务，我们可以基于API进行模型对话测试

1）API调用测试一：

curl http://localhost:11434/api/chat -d '{
  "model": "codegeex4",
"stream": false,
  "messages": [
    { "role": "user", "content": "什么是AI大模型" }
  ]
}'

模型返回如下：

{"model":"codegeex4","created_at":"2024-08-14T08:21:18.066601982Z","message":{"role":"assistant","content":"AI大模型，通常是指基于深度学习的复杂神经网络架构，如深度神经网络（DNN）、卷积神经网络（CNN）或Transformer等。这些模型在处理大量数据时表现出极高的效率和准确度，可以应用于各种不同的任务，例如图像识别、自然语言处理、语音识别和生成、机器翻译、推荐系统等。\n\nAI大模型的训练需要大量的计算资源和数据，通常需要使用高性能的硬件设备，如图形处理器（GPU）或张量处理单元（TPU）。这些模型在参数数量上通常非常大，包含数百万甚至数十亿个参数。通过在大规模数据集上的迭代学习，它们能够从数据中自动提取出高级特征和模式，从而实现高度自动化、高效和智能的应用。\n\n随着技术的进步，AI大模型不仅在学术界得到了广泛的研究和应用，也在工业界取得了显著的成功，推动了人工智能的快速发展。"},"done_reason":"stop","done":true,"total_duration":1951689855,"load_duration":26872764,"prompt_eval_count":10,"prompt_eval_duration":20903000,"eval_count":179,"eval_duration":1860269000}

2）API调用测试二：

curl http://localhost:11434/api/chat -d '{
  "model": "codegeex4",
"stream": false,
  "messages": [
    { "role": "user", "content": "请使用python编写一个快速排序" }
  ]
}'