大模型02-大模型的一些基本概念和知识(是不是有时候傻傻分不清)

前言

随着chatgpt3.5的横空出试,大模型爆火,这个风暴传递到了各行各业。

各类公众号、帖子,也涌现出了各种概念,AI、大模型、LLM、AI、AIGC、AGI、GPT、ChatGPT等等。

总觉得被这些概念搞得头晕。

我花了点时间,梳理了下一些常见的概念,希望从基本上能对大模型(LLM)有个基本的认识。

一图胜千言

我自己查阅了一些资料的针对各个概念的解释之后,整理了以下的一个图,来试图说明这些概念之间的关系(如有不对之处,还请看到的大佬予以指正):

概念之间的关系

AI、AGI、AIGC

AI(人工智能): 先说说AI,这个大家可能都不陌生。AI,就是人工智能,它涵盖了各种技术和领域,目的是让计算机模仿、延伸甚至超越人类智能。想象一下,你的智能手机、智能家居设备,这些都是AI技术的应用。

AIGC(AI生成内容): 接下来是AIGC,即AI Generated Content。这就是利用AI技术生成的内容:

markdown 复制代码
 1.  文本生成:可以用于自动生成新闻报道、广告文案、产品描述等。
 2.  图像生成:可以用于自动生成图像素材、艺术创作、设计等。
 3.  音频生成:可以用于自动生成音乐、电台广播等。
 4.  视频生成:可以用于自动生成视频剪辑、电影预告片等。

又称生成式AI,被认为是继专业生产内容(PGC)、用户生产内容(UGC)之后的新型内容创作方式。

互联网内容生产方式经历了PGC------UGC------AIGC的过程。

AGI(通用人工智能): 然后我们来看AGI,即Artificial General Intelligence,中文叫通用人工智能。这可比一般的AI高级多了。AGI的目标是创造一个能像人类一样思考、学习、执行多种任务的系统。想象一下,如果有了AGI,它可能会成为全能的"超级大脑",能在任何领域都超越人类。听起来是不是有点像科幻电影里的情节?

AGI与AIGC(Artificial Intelligence Generated Content,人工智能生成内容)有显著区别。AIGC指的是利用AI技术,尤其是机器学习和深度学习模型,自动生成内容,如文本、图像、音乐或视频。AIGC通常专注于特定的创作任务,而不具备AGI的广泛智能和通用学习能力。

在谈论AGI时,人工智能 和 机器学习领域国际上最权威的学者之一DeepLearning.AI创始人吴恩达认为,尽管AGI是一个激动人心的概念,但我们目前对实现真正的AGI还有很长的路要走。他强调,现有的AI技术,尽管在特定任务上表现出色,但仍然缺乏通用性和灵活性。

AIGC、NLP、LLM

从上面可以看出,现在被我们广泛谈起的AI,主要是指的AIGC领域。

AIGC涉及到的领域和技术很广泛,其中很重要的一项技术就是NLP(自然语言处理),之所以把这3个概念放在一起描述,这两年来,AIGC取得了令人瞩目的增长,有很大因素就在于自然语言处理(NLP),而推动NLP发展到的就是LLM(大型语言模型),也就是我们接下来学习的重点,LLM

用相对官方的描述,就是说:

NLP(自然语言处理)它是研究如何让计算机读懂人类语言,也就是将人的自然语言转换为计算机可以阅读的指令,NLP是人工智能和语言学领域的分支学科。

而LLM是 NLP 中的一个重要组成部分,主要是用来预测自然语言文本中下一个词或字符的概率分布情况,可以看作是一种对语言规律的学习和抽象。

在NLP中,LLM是一种基本技术,用于处理和理解文本,包括词法分析、句法分析、语义分析等,广泛应用于机器翻译、自动问答系统、信息抽取、文本分类、情感分析等多个领域。而LLM,特别是基于Transformer架构的模型,如GPT-3和T5,通过大规模无监督学习来学习语言规律和上下文信息,然后在微调阶段根据具体任务进行有监督学习和优化,从而能够生成连贯、有意义的文本。这些模型的核心在于预训练和微调,预训练阶段使用掩码语言模型或下一句预测等技术,微调阶段则针对特定任务进行优化。

NLP、GPT、ChatGPT

GPT是NLP领域中的一个重要模型,它是基于Transformer架构构建的预训练语言模型。GPT(Generative Pre-trained Transformer)通过预先训练大量文本数据,学习到语言的基本结构和模式,从而能够理解自然语言文本的意义和语义。

而ChatGPT从名字上就可以看出来,ChatGPT是GPT在对话生成领域的特定应用。

大模型的发展历程

相关推荐
xywww1684 小时前
大模型 API 选型实战:GPT、Gemini、Claude 接入时该看哪些指标?
运维·服务器·人工智能·python·gpt·langchain
私人珍藏库8 小时前
[Android] PeakFinder AR v4.8.89 (山峰全景识别+增强现实山峰查看器)
android·人工智能·智能手机·ar·工具·软件
CS创新实验室9 小时前
算法、齿轮与硅基大脑:数值计算发展简史
人工智能·算法·数值计算
能有时光9 小时前
PyTorch KernelAgent 源码解读 ---(4)--- ExtractorAgent
人工智能·pytorch·python
fthux10 小时前
GitZip Pro 源码解析:一个 GitHub 文件/文件夹下载扩展是如何工作的(一)整体架构与扩展入口
人工智能·ai·开源·github·open source
aqi0010 小时前
15天学会AI应用开发(十七)使用LangGraph实现会话记忆功能
人工智能·python·大模型·ai编程·ai应用
xixixi7777711 小时前
三大 AI 安全里程碑:Akamai 高危风险预警、智能体水印强制落地、PQC 量子安全全产业链统一
大数据·人工智能·安全·ai·大模型·智能体·政策
AI小码11 小时前
LLM 应用的缓存工程:当每次 API 调用都在燃烧成本
java·人工智能·spring·计算机·llm·编程·api
code 小楊11 小时前
AI函数调用:Function Calling从理论到实战全解析
人工智能
delishcomcn11 小时前
智切未来:AI算法如何重塑不干胶标签分切机的精度与效率边界
人工智能·神经网络·计算机视觉