大模型16:大模型部署ChatGLM-6B

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。 ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

复制代码
git clone https://github.com/THUDM/ChatGLM-6B.git
相关推荐
liuyunshengsir7 小时前
利用coze工作流制作一个自动生成PPT的智能体
大模型·大模型工作流
mengyoufengyu7 小时前
DeepSeek12-Open WebUI 知识库配置详细步骤
人工智能·大模型·deepseek
山顶夕景7 小时前
【LLM-Agent】智能体的记忆缓存设计
大模型·agent·记忆模块·记忆缓存
人肉推土机1 天前
AI Agent 架构设计:ReAct 与 Self-Ask 模式对比与分析
人工智能·大模型·llm·agent
中杯可乐多加冰1 天前
【解决方案-RAGFlow】RAGFlow显示Task is queued、 Microsoft Visual C++ 14.0 or greater is required.
人工智能·大模型·llm·rag·ragflow·deepseek
audyxiao0012 天前
计算机视觉顶刊《International Journal of Computer Vision》2025年5月前沿热点可视化分析
图像处理·人工智能·opencv·目标检测·计算机视觉·大模型·视觉检测
CM莫问3 天前
<论文>(微软)WINA:用于加速大语言模型推理的权重感知神经元激活
人工智能·算法·语言模型·自然语言处理·大模型·推理加速
大模型铲屎官3 天前
【深度学习-Day 23】框架实战:模型训练与评估核心环节详解 (MNIST实战)
人工智能·pytorch·python·深度学习·大模型·llm·mnist
一 铭3 天前
Github Copilot新特性:Copilot Spaces-成为某个主题的专家
人工智能·大模型·llm
致Great3 天前
Gemini开源项目DeepResearch:基于LangGraph的智能研究代理技术原理与实现
大模型