开源大模型应用开发

1.大语言模型初探

ChatGLM3简介

ChatGLM3-6B 是一个基于 Transformer 的预训练语言模型,由清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练发布。该模型的基本原理是将大量无标签文本数据进行预训练,然后将其用于各种下游任务,例如文本分类、命名实体识别、情感分析等。

ChatGLM3-6B 的核心功能是语言建模,即通过预测下一个单词或字符来建立一个语言模型。该模型采用了 Transformer 结构,这是一种基于自注意力机制的深度神经网络结构,能够有效地捕捉文本中的长期依赖关系。

ChatGLM3-6B 模型具有多种预训练任务,例如文本分类、命名实体识别、情感分析等。在预训练过程中,模型会学习到各种语言知识和模式,从而能够更好地完成各种下游任务。

ChatGLM3-6B 模型的局限性在于它只能处理已经训练好的模型,无法直接用于新的、未标注的数据。此外,由于预训练模型是基于无标签数据的,因此它可能无法完全捕捉到某些特定的语言知识和模式。

总的来说,ChatGLM3-6B 是一个功能强大的语言模型,能够在各种文本相关的任务中表现出色。它的核心功能是基于 Transformer 结构的自注意力机制,能够捕捉文本中的长期依赖关系。同时,它还具有多种预训练任务,能够更好地完成各种下游任务。然而,它的局限性在于只能处理已经训练好的模型,无法直接用于新的、未标注的数据。

2.LangChain及其核心组件介绍

LangChain简介

LangChain是一个开源框架,允许从事人工智能的开发者将例如GPT-4的大语言模型与外部计算和数据来源结合起来。该框架目前以Python或JavaScript包的形式提供。

假设,你想从你自己的数据、文件中具体了解一些情况(可以是一本书、一个pdf文件、一个包含专有信息的数据库)。LangChain可以将GPT-4和这些外部数据连接起来,甚至可以让LangChain帮助你采取你想采取的行动,例如发一封邮件。

实践课程:

1、实现pdf、jpg格式文档的加载与解析

文件位置:document_loader.ipynb

2、实现一个于基ChatGLM3+LangChain的聊天应用,需要有Gradio界面

文件位置:chat.ipynb

3、基于LangChain+ChatGLM3实现本地知识库问答,需要有Gradio界面。

支持txt、md、pdf、jpg四种格式的本地文件。

文件位置:langchain_chatglm3_V3.ipynb

最终Gradio界面问答如图:

直接生成文本:
流聊天方式生成文本
4、将导入的文档向量化并存入数据库,以及基于词向量的相似文本检索

document_search.ipynb

相关推荐
Liudef069 小时前
FLUX.1-Kontext 高效训练 LoRA:释放大语言模型定制化潜能的完整指南
人工智能·语言模型·自然语言处理·ai作画·aigc
静心问道9 小时前
大型语言模型中的自动化思维链提示
人工智能·语言模型·大模型
难受啊马飞2.013 小时前
如何判断 AI 将优先自动化哪些任务?
运维·人工智能·ai·语言模型·程序员·大模型·大模型学习
静心问道15 小时前
GoT:超越思维链:语言模型中的有效思维图推理
人工智能·计算机视觉·语言模型
静心问道16 小时前
大语言模型能够理解并可以通过情绪刺激进行增强
人工智能·语言模型·大模型
onceco1 天前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
Sweet锦1 天前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
强哥之神1 天前
英伟达发布 Llama Nemotron Nano 4B:专为边缘 AI 和科研任务优化的高效开源推理模型
人工智能·深度学习·语言模型·架构·llm·transformer·边缘计算
陈敬雷-充电了么-CEO兼CTO1 天前
大模型技术原理 - 基于Transformer的预训练语言模型
人工智能·深度学习·语言模型·自然语言处理·chatgpt·aigc·transformer
asyxchenchong8882 天前
ChatGPT、DeepSeek等大语言模型助力高效办公、论文与项目撰写、数据分析、机器学习与深度学习建模
机器学习·语言模型·chatgpt