glm-4v-9b 部署

glm-4v-9b 模型文件地址

GLM-4 仓库文件地址

官方测试 硬件配置和系统要求

官方测试硬件信息:

  • OS: Ubuntu 22.04
  • Memory: 512GB
  • Python: 3.12.3
  • CUDA Version: 12.3
  • GPU Driver: 535.104.05
  • GPU: NVIDIA A100-SXM4-80GB * 8

最低硬件要求

如果希望运行官方提供的最基础代码 (transformers 后端) 需要:

  • Python >= 3.10
  • 内存不少于 32 GB

如果希望运行官方提供的本文件夹的所有代码,还需要:

  • Linux 操作系统 (Debian 系列最佳)
  • 大于 8GB 显存的,支持 CUDA 或者 ROCM 并且支持 BF16 推理的 GPU 设备。(FP16 精度无法训练,推理有小概率出现问题)
一、Codestral-22B-v0.1环境安装

1、硬件配置

用两张4090D

2、配置环境

建议最好自己新建一个conda环境

复制代码
conda create -n glm4v python=3.10 -y

conda activate glm4v

unzip GLM-4-main.zip

3、安装依赖

复制代码
pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple 

pip install gradio==3.40.0 -i https://pypi.mirrors.ustc.edu.cn/simple

/root/autodl-tmp/glm-4v-9b

基础功能调用

除非特殊说明,本文件夹所有 demo 并不支持 Function Call 和 All Tools 等进阶用法

使用 transformers 后端代码

  • 使用命令行与 GLM-4-9B 模型进行对话。

    python trans_cli_demo.py # GLM-4-9B-Chat

    python trans_cli_vision_demo.py # GLM-4V-9B

  • 使用 Gradio 网页端与 GLM-4-9B-Chat 模型进行对话。

    python trans_web_demo.py

  • 使用 Batch 推理。

    python cli_batch_request_demo.py

使用 vLLM 后端代码

  • 使用命令行与 GLM-4-9B-Chat 模型进行对话。

    python vllm_cli_demo.py

  • 自行构建服务端,并使用 OpenAI API 的请求格式与 GLM-4-9B-Chat 模型进行对话。本 demo 支持 Function Call 和 All Tools功能。

启动服务端:

复制代码
python openai_api_server.py

客户端请求:

复制代码
python openai_api_request.py
相关推荐
一起学安全技术2 天前
拆大模型 11|大模型面试拷问:12 问逐层拆
人工智能·ai·语言模型·面试·职场和发展·求职招聘
学无止境小袁同学3 天前
LangGraph 深度指南
语言模型·框架·agent·并发·上下文·langgraph·长期记忆
一起学安全技术3 天前
拆大模型 10|结构化输出:让模型返回数据,而不是一段话
人工智能·语言模型·json
Dawson Zhu5 天前
【分布式训练⑧】通信优化:NCCL、Ring AllReduce与计算通信重叠
人工智能·语言模型·架构·aigc·agi
Solange__6 天前
Blender 3D模型优化:普通复制、共享网格、实例、合并怎么选?
人工智能·3d·ai·自然语言处理·编辑器·blender·材质
2601_967980116 天前
使用gensim处理文本(1)语料库与词向量空间
python·自然语言处理·gensim·词向量·文本分析
Dawson Zhu7 天前
【分布式训练④】张量并行与序列并行:把单层参数切碎分到多张卡
人工智能·语言模型·架构·aigc·agi
Martina_03217 天前
AI生成的3D白模单帧没问题,镜头一移动就被挡?用6步检查遮挡与构图
图像处理·人工智能·数学建模·3d·ai·自然语言处理·游戏策划
如夏倾城7 天前
百度文心(容易被忽略的好用AI)使用方式
人工智能·python·百度·语言模型·dubbo
2301_790355977 天前
【技术拆解】短视频配音自动化流程:从文案预处理到 SRT 字幕的 9 个环节
自然语言处理·音视频