大模型16:大模型部署ChatGLM-6B

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。 ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

复制代码
git clone https://github.com/THUDM/ChatGLM-6B.git
相关推荐
千桐科技3 小时前
qKnow 知识平台商业版 v2.6.1 正式发布:移除对第三方 LLM 应用框架的依赖,一次真正走向自主可控的里程碑升级
大模型·知识图谱·图数据库·知识库·rag·qknow·知识平台
CoderJia程序员甲4 小时前
GitHub 热榜项目 - 日榜(2026-01-28)
人工智能·ai·大模型·github·ai教程
世优科技虚拟人5 小时前
从AI数字人讲解到MR数字人导览,数字人厂商革新文旅新服务
人工智能·大模型·数字人·智能交互
小哈里6 小时前
【计算】Ray框架介绍,AI基础设施之“通用”分布式计算(跨场景,门槛低,大规模生产,单机->集群->推理一站式)
人工智能·大模型·llm·分布式计算·ray
AI 菌6 小时前
DeepSeek-OCR v2 解读
人工智能·大模型·ocr·多模态
山顶夕景21 小时前
【VLM】Visual Merit or Linguistic Crutch? 看DeepSeek-OCR
大模型·llm·ocr·多模态
wangmengxxw1 天前
SpringAI-mcp-sse方式
java·人工智能·大模型·sse·springai·mcp
梁辰兴1 天前
DeepSeek-OCR 2如何让AI像人类一样“看懂“复杂文档?
人工智能·ai·大模型·ocr·deepseek·梁辰兴·deepseek-ocr 2
中杯可乐多加冰1 天前
RAG 深度实践系列(三):RAG 技术演变与核心架构的深度剖析
人工智能·深度学习·大模型·llm·知识库·rag·graphrag
一碗甜汤ᐝ1 天前
chatglm3-6b部署和微调
语言模型·大模型·微调·chatglm