大模型16:大模型部署ChatGLM-6B

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。 ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

复制代码
git clone https://github.com/THUDM/ChatGLM-6B.git
相关推荐
LYFlied5 小时前
WebGPU与浏览器边缘智能:开启去中心化AI新纪元
前端·人工智能·大模型·去中心化·区块链
Java后端的Ai之路9 小时前
【大模型技术栈】-Qwen与DeepSeek如何构建智能大脑?
大模型·qwen·deepseek
code bean11 小时前
【AI】AI大模型之流式传输(前后端技术实现)
人工智能·ai·大模型·流式传输
韦东东12 小时前
Text2SQL案例演示:信贷风控策略场景(Coze工作流版)
大数据·人工智能·大模型·text2sql·coze·信贷策略
星云数灵14 小时前
大模型高级工程师考试练习题4
人工智能·算法·机器学习·大模型·大模型考试题库·阿里云aca·阿里云acp大模型考试题库
肥猪猪爸16 小时前
Langchain实现ReAct Agent多变量工具调用
人工智能·神经网络·机器学习·自然语言处理·langchain·大模型·transformer
喜欢吃豆17 小时前
2025年大语言模型技术全景报告
人工智能·语言模型·大模型·2025博客之星
默 语17 小时前
2026 AI大模型技术全景与开发者进阶白皮书
人工智能·ai·大模型
vibag1 天前
构建智能体与工具调用
python·语言模型·大模型·langgraph
人工智能培训1 天前
10分钟了解向量数据库(3)
人工智能·大模型·知识图谱·强化学习·智能体搭建