大语言模型-LLM简介

大语言模型如此火爆,查了些资料整理一下,做个初步的了解。

语言模型的发展从开始的统计方法到使用神经网络,再到现在通过使用Transformer架构的模型训练大量数据,理解文本规则和模式,同时随着训练数据和模型的扩大,语言模型的能力提升显著,此时大语言模型出现了-LLM。

相比于之前的明星模型-BERT,虽然大预言模型使用的架构和预训练任务相似,但参数数量级的提升使他们有了质的差别。BERT的参数为3.3亿 ,GPT-2为15亿 ,而GPT-3则有1750亿 参数。此时GPT-3相比之前的模型,就有解决少样本任务的能力了,这种能力可称为涌现能力

LLM的独特能力

上下文学习:语言模型在获得指令或任务示例时,通过上下文生成答案,此时不需要额外训练或更新参数。

指令微调:LLM可以处理未见过的任务,泛化能力强大。

推理能力:LLM可通过中间推理步骤的提示机制解决中间的任务得到最终的答案。

LLM的特点

模型规模大:参数通常在数十亿,甚至千亿规模,这也是大模型可以获取更多信息的基础。

预训练和微调:LLM使用大量无标签文本数据做预训练,获取通用的知识,再通过微调在单独任务重获得更好的效果。

上下文理解:可解决小模型对前文理解不足的问题。

支持多模态:LLM可支持图像、声音等内容的扩展。

现有的大模型

LLM大放异彩是从OpenAI发布ChatGPT开始的,后面还有Claude、PaLM、Bard等,但由于网络原因,并不好用,而且还需要国际支付以获取user key,国内使用不是很友好。

国内的LLM主要有文心一言、讯飞星火、通义千问等,分别由百度、讯飞、阿里推出。放开测试后只需手机号就能使用,但有些功能需要收费了。

LangChain

一个开源工具,帮助开发者调用大模型并应用于下游任务,其为LLM提供了通用接口,简化开发流程。

主要有六个标准接口:

Input/Output:用户输入及模型输出的结果

Data:将自由数据输入模型训练

Chain:链接多个LLM或组件

Memory:对每个用户生成短期记忆,加强对上文的理解

Agent:为LLM提供计算、检索等功能的支持

Callback:记录流程信息

相关推荐
光芒再现dev7 小时前
已解决,部署GPTSoVITS报错‘AsyncRequest‘ object has no attribute ‘_json_response_data‘
运维·python·gpt·语言模型·自然语言处理
人工智能培训咨询叶梓8 小时前
探索开放资源上指令微调语言模型的现状
人工智能·语言模型·自然语言处理·性能优化·调优·大模型微调·指令微调
zzZ_CMing8 小时前
大语言模型训练的全过程:预训练、微调、RLHF
人工智能·自然语言处理·aigc
软工菜鸡8 小时前
预训练语言模型BERT——PaddleNLP中的预训练模型
大数据·人工智能·深度学习·算法·语言模型·自然语言处理·bert
放飞自我的Coder8 小时前
【python ROUGE BLEU jiaba.cut NLP常用的指标计算】
python·自然语言处理·bleu·rouge·jieba分词
vivid_blog8 小时前
大语言模型(LLM)入门级选手初学教程 III
人工智能·语言模型·自然语言处理
qzhqbb9 小时前
语言模型的采样方法
人工智能·语言模型·自然语言处理
qzhqbb9 小时前
基于 Transformer 的语言模型
人工智能·语言模型·自然语言处理·transformer
向阳121811 小时前
Bert快速入门
人工智能·python·自然语言处理·bert
Jina AI1 天前
RAG 系统的分块难题:小型语言模型如何找到最佳断点?
人工智能·语言模型·自然语言处理