大模型16:大模型部署ChatGLM-6B

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。 ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

复制代码
git clone https://github.com/THUDM/ChatGLM-6B.git
相关推荐
AI绘画哇哒哒4 小时前
【建议收藏!】35岁后端血泪忠告,这3类人别硬转Agent(过来人亲述)
java·人工智能·后端·ai·程序员·大模型·agent
Tbisnic5 小时前
BGE-M3 算法详解:从模型架构到三种检索方式的数学原理
算法·自然语言处理·大模型·bert·transformer·注意力机制
thesky1234567 小时前
27届大模型面试准备(四十六):多模态生成式架构——扩散与自回归的统一
大模型·文生图·diffusion·扩散模型·dit·自回归生成·多模态生成
dogstarhuang11 小时前
OpenAI GPT-5.6 降价后如何重算 API 账单?多模型路由与成本治理实战
服务器·网络·人工智能·大模型·api·ai应用开发·接口管理
thesky12345611 小时前
27届大模型面试准备(四十八):指令遵循与对齐税——从 IFEval 到能力保持
大模型·结构化输出·指令遵循·instruction following·ifeval·对齐税·alignment tax
安逸sgr11 小时前
AI 应用怎么评测?离线评测、人工评估和线上反馈如何结合?
人工智能·ai·大模型·agent·智能体
DogDaoDao12 小时前
Magma:微软如何用一个模型打通数字与物理世界的 AI Agent
人工智能·微软·机器人·大模型·机器人模型·智能体·magma
李昊哲小课15 小时前
大模型应用开发课程 —— 项目 09~12 完整教程
大数据·人工智能·大模型
天涯明月199316 小时前
AI Agent应用深度研究报告
人工智能·大模型·agent
艾莉丝努力练剑1 天前
【AI接入大模型SDK】ChatSDK示例验证
人工智能·学习·面试·大模型·sdk