大模型16:大模型部署ChatGLM-6B

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。 ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

复制代码
git clone https://github.com/THUDM/ChatGLM-6B.git
相关推荐
远上寒山12 小时前
FlashAttention 原理与工程实践:从 IO-aware 到 H100 上的 1 PFLOPs/s
大模型·注意力机制·flash_attention·online softmax·shared memory
有点不太正常15 小时前
Differentially Private Synthetic Text Generation for RAG——论文阅读
论文阅读·大模型·llm·rag
山顶夕景15 小时前
【LLM】大模型vibe coding(cursor、copilot、comate)
大模型·copilot·coding·vibe coding·代码模型
杀生丸学AI19 小时前
【三维重建】即插即用的3DGS的PDE优化:高质量渲染和重建
人工智能·3d·大模型·aigc·3dgs·高斯泼溅·空间智能
想躺平的咸鱼干1 天前
远程MCP的调用和阿里云生态的知识库和工作流的使用
阿里云·大模型·云计算·idea·格式化输出·mcp
haogexiaole1 天前
什么是语言模型
大模型
泥烟2 天前
使用Milvus和DeepSeek构建RAG demo
大模型·milvus·deepseek
CoderJia程序员甲2 天前
GitHub 热榜项目 - 日榜(2025-10-09)
ai·开源·大模型·github·ai教程
Wild_Pointer.2 天前
面向Qt/C++开发工程师的Ai提示词(附Trae示例)
人工智能·ai·大模型
喜欢吃豆2 天前
从潜在空间到实际应用:Embedding模型架构与训练范式的综合解析
python·自然语言处理·架构·大模型·微调·embedding