chatglm

ChatGLM2-6B微调记录【2】

小白顶呱呱

chatglm本地服务器大模型量化cpu INT4 INT8 half float运行、多卡多GPU运行改这一条指令就行啦！ChatGLM3常规方案的GPU推演中half和float是两种最常用的格式，half格式占13GB显存，float格式占40GB显存。此外还提供了几种GPU量化格式的推演：INT4和INT8量化。

使用PaddleNLP调用大模型ChatGLM3-6b进行信息抽取ChatGLM一直是非常不错的语言大模型，这次使用ChatGLM3-6b模型进行信息抽取工作直接使用星河社区的AI环境，因为星河社区可以直接创建Paddle3.0的调试环境，可以简化飞桨PaddlePaddle的安装过程，避免很多坑。

安装后或升级启智环境到飞桨2.6版本（develop）启智社区的启智大脑调试环境非常好用，但是里面的飞桨环境版本比较低，为了能够运行大模型（llm），需要升级飞桨到2.6版本或者开发版本。

智谱AI通用大模型：官方开放API开发基础目录一、模型介绍1.1主要模型1.2 计费单价二、前置条件2.1 申请API Key三、基于SDK开发

聊聊ChatGLM3多用户并发API调用的问题转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote目前在公司内部4张A10的GPU服务器上部署了ChatGLM3开源模型；然后部署了官方默认的web_demo、api_demo两种模式；重新设计了前端，支持H5和安卓两个客户端调用。但却发现了不能并发访问的问题。

聊聊ChatGLM-6B医疗数据微调转载请注明出处: https://www.cnblogs.com/zhiyong-ITNote/参考了多个医疗大模型，如扁鹊、灵心等，重新思考了下微调的方案以及数据集的格式；基于ChatGLM/其它LLM整合多种微调方法的非官方实现的框架，审视其数据集格式，以及调试效果，进行微调。最终基于liucongg/ChatGLM-Finetuning开源框架成功的微调出来我想要的结果。

【大模型API调用初尝试一】智谱AI && 通义千问大模型的参数非常庞大，功能非常强大，但是训练成本高昂，因此个人或者小企业自己去训练一个大模型是不可能的。我们可以通过直接调用大模型的API，将大模型集成到自己的应用中。大模型的API就是一个接口，类似MaaS，用户通过调用API访问大模型，获得大模型针对用户prompt（问题）的输出，一般输出是json格式的，然后我们利用这个输出进行后续的操作。但是大模型是一个已经训练好的模型，类似一个封装好的盒子，其能够运用的知识是有限的，比如chatgpt的知识截至2021年9月，让它提供实时的天气预报是不可行的

大语言模型LangChain+ChatGLM3-6B的本地知识库与行业知识库价值体现在人工智能的浪潮中，大型语言模型（LLM）如ChatGLM3-6B已崭露头角，其在自然语言处理、智能问答等领域的应用日益广泛。本地知识库与行业知识库的构建和整合成为了提升模型性能的关键。LangChain作为一款强大的工具，为这一过程提供了有力的支持。

【Langchain+Streamlit】打造一个旅游问答AI利用Langchain+Streamlit打造一个交互简单的旅游问答AI机器人，如果你有openai账号,可以按照如下的网址直接体验，如果你没有的话可以站内私信博主要一下临时key体验一下：

ChatGLM vs ChatGPT国内大模型nb公司：百度、清华智谱粉色：Encoder-only。绿色：Encoder-Decoder，尽头智谱ChatGLM。

聊聊ChatGLM-6B源码分析(二)基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/

聊聊ChatGLM中P-tuning v2的应用论文PDF地址：https://arxiv.org/pdf/2110.07602.pdf转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/

聊聊ChatGLM-6B的源码分析基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6B转载请备注出处：https://www.cnblogs.com/zhiyong-ITNote/

LLM大语言模型（四）：在ChatGLM3-6B中使用langchainLangChain是一个用于开发由语言模型驱动的应用程序的框架。它使应用程序能够:相信大家都很熟悉LangChain里很流行的两个概念Chain和Agent，本文将介绍在ChatGLM3-6B里是如何使用LangChain的。

我在北国不背锅

利用ChatGLM3构建Prompt实现Text2SQL之前使用ChatGLM3的自定义工具实现了查询MySQL数据库，但感觉功能还是比较受限。 https://blog.csdn.net/weixin_44455388/article/details/135270879?spm=1001.2014.3001.5501

聊聊从源码来看ChatGLM-6B的模型结构基于ChatGLM-6B第一版，要注意还有ChatGLM2-6B以及ChatGLM3-6BChatGLM是transformer架构的神经网络模型，因此从transformer结构入手，分析其源码结构。 transformer结构：

聊聊ChatGLM6B的微调脚本及与Huggingface的关联本文首先分析微调脚本trainer.sh的内容，再剖析ChatGLM是如何与Huggingface平台对接，实现transformers库的API直接调用ChatGLM模型，最后定位到了ChatGLM模型的源码文件。

聊聊ChatGLM-6B部署与微调的深入理解ChatGLM的部署，主要是两个步骤：从Github上看ChatGLM项目文件的结构来看，仅仅是包含三种部署方式的py代码与微调的py代码而相关的实现细节，比如神经网络、激活函数、损失函数等具体的实现，并不在该项目源码中。不管以哪种方式部署，最核心就是三句代码，其作用是引入模型参数，初始化transformers配置；以web部署的方式为例：