大模型16:大模型部署ChatGLM-6B

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。 ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

复制代码
git clone https://github.com/THUDM/ChatGLM-6B.git
相关推荐
nbu04william32 分钟前
Deepseek-api省token的用法
python·大模型·token·deepseek
小李飞刀李寻欢6 小时前
DeepSeek最新研究进展:从MoE架构到多模态突破
语言模型·自然语言处理·大模型·deepseek
ywl4708120877 小时前
【SpringAI 入门05】调用大模型
大模型
ywl4708120878 小时前
【Spring AI 入门07】如何具体实现低延迟大模型推理网关
大模型·netty
重庆小透明9 小时前
今日收获(一些个人思考)
java·spring·大模型·springai·prompt注入
汤姆yu10 小时前
面向具身智能的物理视频模拟器:蚂蚁灵波LingBot-Video开源模型全解析
java·大数据·人工智能·gpt·开源·大模型·音视频
aqi0021 小时前
15天学会AI应用开发(十七)使用LangGraph实现会话记忆功能
人工智能·python·大模型·ai编程·ai应用
xixixi777771 天前
三大 AI 安全里程碑:Akamai 高危风险预警、智能体水印强制落地、PQC 量子安全全产业链统一
大数据·人工智能·安全·ai·大模型·智能体·政策