【笔记】从零开始大模型开发与微调:基于PyTorch与ChatGLM

从零开始大模型开发与微调:基于PyTorch与ChatGLM

2023.11.1版

介绍DL应用、大模型,ChatGLM

由清华大学自主研发,基于 General Language Model (GLM) 架构的一种最新型、最为强大的深度学习大模型。

1、经过约 1T 标识符的中英双语训练,辅以监督微调、对比学习、人类反馈强化学习等技术的加持

2、针对中文问答和对话进行了优化

3、开源的ChatGLM-6B 具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)

相关推荐
玩美数据6 分钟前
市场调研数据分析与数据集驱动的行业格局变革深度解析
大数据·人工智能
lucas_AI16 分钟前
AI 思考时非要「说人话」吗?哈工大团队让模型「用数据格式思考」,省 5 倍 token 还更准
人工智能
知行产研19 分钟前
紫创智械:工程机械具身智能的「非运输」破局者
人工智能
微订校园外卖系统1 小时前
校园代取快递系统选型:现成系统与定制开发的技术核对项
大数据·运维·人工智能·外卖系统·本地生活·微订
QXWZ_IA1 小时前
管道GIS测绘如何实现自动化成图:三种成图方式怎么选
运维·人工智能·安全·自动化
严肃小白兔1 小时前
第 04/24 期:深度学习中的损失函数及其数学解释
人工智能·深度学习
无责任此方_修行中1 小时前
「不止技术」AIE 2026 会后感悟
人工智能·后端·ai编程
BYSJMG2 小时前
计算机毕业设计选题推荐:【基于深度学习的车辆损坏严重程度评估方法研究】ResNet50 图像分类
人工智能·深度学习·目标检测·机器学习·计算机视觉·分类·课程设计
在所不辞兄2 小时前
为什么在电池供电场景下,不能采用固定电压频率策略,而需要动态调整以最大化 Race-to-Sleep 收益?
人工智能·深度学习·神经网络·机器学习
jianqiang.xue2 小时前
3倍向量算力:Arm给最小MCU装上本地AI
arm开发·人工智能·单片机