大语言模型-LLM简介

大语言模型如此火爆,查了些资料整理一下,做个初步的了解。

语言模型的发展从开始的统计方法到使用神经网络,再到现在通过使用Transformer架构的模型训练大量数据,理解文本规则和模式,同时随着训练数据和模型的扩大,语言模型的能力提升显著,此时大语言模型出现了-LLM。

相比于之前的明星模型-BERT,虽然大预言模型使用的架构和预训练任务相似,但参数数量级的提升使他们有了质的差别。BERT的参数为3.3亿 ,GPT-2为15亿 ,而GPT-3则有1750亿 参数。此时GPT-3相比之前的模型,就有解决少样本任务的能力了,这种能力可称为涌现能力

LLM的独特能力

上下文学习:语言模型在获得指令或任务示例时,通过上下文生成答案,此时不需要额外训练或更新参数。

指令微调:LLM可以处理未见过的任务,泛化能力强大。

推理能力:LLM可通过中间推理步骤的提示机制解决中间的任务得到最终的答案。

LLM的特点

模型规模大:参数通常在数十亿,甚至千亿规模,这也是大模型可以获取更多信息的基础。

预训练和微调:LLM使用大量无标签文本数据做预训练,获取通用的知识,再通过微调在单独任务重获得更好的效果。

上下文理解:可解决小模型对前文理解不足的问题。

支持多模态:LLM可支持图像、声音等内容的扩展。

现有的大模型

LLM大放异彩是从OpenAI发布ChatGPT开始的,后面还有Claude、PaLM、Bard等,但由于网络原因,并不好用,而且还需要国际支付以获取user key,国内使用不是很友好。

国内的LLM主要有文心一言、讯飞星火、通义千问等,分别由百度、讯飞、阿里推出。放开测试后只需手机号就能使用,但有些功能需要收费了。

LangChain

一个开源工具,帮助开发者调用大模型并应用于下游任务,其为LLM提供了通用接口,简化开发流程。

主要有六个标准接口:

Input/Output:用户输入及模型输出的结果

Data:将自由数据输入模型训练

Chain:链接多个LLM或组件

Memory:对每个用户生成短期记忆,加强对上文的理解

Agent:为LLM提供计算、检索等功能的支持

Callback:记录流程信息

相关推荐
曼城周杰伦30 分钟前
自然语言处理:第六十三章 阿里Qwen2 & 2.5系列
人工智能·阿里云·语言模型·自然语言处理·chatgpt·nlp·gpt-3
我爱学Python!2 小时前
大语言模型与图结构的融合: 推荐系统中的新兴范式
人工智能·语言模型·自然语言处理·langchain·llm·大语言模型·推荐系统
日出等日落2 小时前
Windows电脑本地部署llamafile并接入Qwen大语言模型远程AI对话实战
人工智能·语言模型·自然语言处理
段传涛3 小时前
PAL(Program-Aided Language Model)
人工智能·语言模型·自然语言处理
weixin_443290693 小时前
【阅读记录-章节3】Build a Large Language Model (From Scratch)
人工智能·语言模型·自然语言处理
幻风_huanfeng6 小时前
人工智能之数学基础:线性代数在人工智能中的地位
人工智能·深度学习·神经网络·线性代数·机器学习·自然语言处理
电子手信8 小时前
知识中台在多语言客户中的应用
大数据·人工智能·自然语言处理·数据挖掘·知识图谱
小任同学Alex9 小时前
浦语提示词工程实践(LangGPT版,服务器上部署internlm2-chat-1_8b,踩坑很多才完成的详细教程,)
人工智能·自然语言处理·大模型
Guofu_Liao1 天前
大语言模型---LoRA简介;LoRA的优势;LoRA训练步骤;总结
人工智能·语言模型·自然语言处理·矩阵·llama
sp_fyf_20241 天前
【大语言模型】ACL2024论文-19 SportsMetrics: 融合文本和数值数据以理解大型语言模型中的信息融合
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理