ChatGPT出圈了

我们已经训练了一个名为 ChatGPT 的模型，它以对话方式进行交互。对话格式使 ChatGPT 可以回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求。 ChatGPT 是 InstructGPT 的同级模型，它经过训练可以按照提示中的说明进行操作并提供详细的响应。

chatGPT是2022年11月30号，openAI公司发布的一款人工智能语言模型产品，目前还在研究测试阶段，提供开放访问以获取用户的反馈并了解其优缺点，ChatGPT 的使用是免费的。（已经有高端订阅版了，提供更快的响应速度，更高的tokens语言长度支持）

chatGPT本质上是一款生成型预训练变换模型 （Generative Pre-trained Transformer），一个自回归语言模型，目的是为了使用深度学习生成人类可以理解的自然语言，chatGPT使用基于GPT-3.5架构的大型语言模型并通过强化学习进行训练。

ChatGPT趋势

自二月份以来，chatGPT频繁登上各大社交媒体头条，热度上升趋势不减，彻底从计算机行业出圈，成为人工智能的代名词，更多的人都对chatGPT产生了好奇，报告显示chatGPT官网的注册人数，ChatGPT平均每天接收1300万用户访问，预计上线不到三个月，月度用户数就能突破1.2亿，ChatGPT或将成为有史以来用户增长最快的一款APP，从几年前的深度学习网络主导的计算机视觉中图片识别准确率大幅提高，再到前两年的alphaGo击败了围棋世界冠军，chatGPT的出现是否意味着AGI通用人工智能离我们更近了。

百度的chatGPT搜索指数和资讯指数在二月份迎来一波暴涨，在2月7号左右达到峰值。

谷歌趋势显示在中国地区chatGPT在今年的2月份搜索量开始飙升，从之前不到25在短短的半个月时间上升到超过100，成为这段时间的搜索焦点。

ChatGPT快速使用

ChatGPT工具已经在很多应用APP中进行了集成，可以直接体验到和chatGPT对话的功能了。在微信中搜索chatGPT会出现chatGPT的公众号，飞书中有chatGPT机器人，钉钉软件中也有此功能。方便的地方在于不用在openAI的官网去注册账号，就能第一时间体验到聊天机器人的乐趣，缺点在于响应较慢，由于访问量较大频繁的访问可能会被拒绝掉，体验感觉不是太好。

飞书中的chatGPT可以用，但是反应比较迟钝，可能要十几秒才能返回对话的结果，还是建议大家不要嫌麻烦，使用快速注册教程去申请一个openAI的账号，重点是这个账号还会绑定一个API Key，可以在外部通过chatGPT提供的公开接口进行访问。

登录openAI页面

PlayGround:platform.openai.com/playground

ChatRoom: chat.openai.com/chat/0cda74...

GPT4.0 已经发布了

就在03.15号，GPT4.0版本已经发布了，支持多模态****输入（语音、图像等）

我们创建了 GPT-4，这是 OpenAI 努力扩展深度学习的最新里程碑。 GPT-4 是一个大型多模态模型（接受图像和文本输入，给出文本输出），虽然在许多现实世界场景中的能力不如人类，但在各种专业和学术基准上表现出人类水平的表现。

i.e 图像识别和理解能力

支持多模态（语音、图像）输入
更长的输出内容长度，GPT4最长能够输出25000个单词
更聪明了，答案更可靠，满分800分的SAT考试，从590分提高到了700分
落地时间更快，相较于ChatGPT的发布，这次只过了4个月
针对胡说八道能力，做了系统补丁，更强了
GPT4具有极强的可塑性，通过投喂某个领域的训练数据，能够成为这方面的专家，在教育方面已经体现出了这种优势，可汗学院正在通过GPT4模型训练了一位"真正意义上的老师"，Khanmigo项目

**Be My Eyes **致力于帮助盲人和低视力社区将利用这些工具，不仅满足大量的视觉解释需求，而且让他们的生活中拥有更大程度的独立性

ChatGPT生产力工具使用

ChatGPT已达到大学毕业生的水平，它犯的错误恰恰可以证明它的智力

ChatGPT竟有9岁小孩心智？斯坦福教授逆天发现，AI统治人类还远吗

chatGPT破圈的魅力在于其实用性得到了质的飞跃，在某些领域chatGPT的水平已经超过了这些领域的平均水平，已经不是一个玩具而是一个工具了，甚至有专家认为chatGPT的通用智能水平已经达到了9岁儿童的心智，chatGPT真的这么厉害吗，这个还是专家来研究吧，那它作为一个工具，能够做什么完成什么任务呢？

👇🏻下面会举出chatGPT最擅长处理的一些任务，也是其破圈的关键所在。

聊天机器人

chatGPT拥有强大的上下文理解和文本输出能力，可以说是为聊天而生，chatgpt可以直接作为一个聊天机器人，和人类进行对话，如果你不知道对方是chatGPT，说不定真的有可能无法分辨，图灵测试的定义就是

图灵测试（英语：Turing test，又称"图灵判断"），是阿兰·图灵于1950年提出的一个关于判断机器是否能够思考的著名试验，测试某机器是否能表现出与人等价或无法区分的智能。如果一个人（代号C）使用测试对象皆理解的语言去询问两个他不能看见的对象任意一串问题。对象为：一个是正常思维的人（代号B）、一个是机器（代号A）。如果经过若干询问以后，C不能得出实质的区别来分辨A与B的不同，则此机器A通过图灵测试。

换句话说，如果一个人（C）同时和chatGPT（C）和另外一个人(B)进行聊天，一段时间之后，如果C不能分辨出来C和B谁是人、谁是机器，那么可以说chatGPT已经通过了图灵测试。

网页版chatgpt有两个地方都可以进行聊天，一个是PlayGroud，这里可以聊天也可以测试一些别的chatgpt能力，分类、文本生成等，另外一个是专门聊天的界面，都需要先申请openAI的账号才能访问。

上面是一个和chatGPT聊天的case，我先让它记住我的幸运数字，然后和他聊了一下《三体》，最后又问了它我的幸运数字，很显然它记得前面我说过上面，这就是chatgpt聊天上下文能力的体现。

智能搜索引擎

**搜索引擎 **的出现极大的便利了人们搜索互联网的知识和信息，通过搜索关键词的方式我们可以找到想要的信息，搜索能力就像图书馆书录的索引，输入关键词，可以返回所有的索引，索引有优先级排序，通过索引我们可以一个挨着一个的去看到每一本书，由我们自己进行一个鉴别。而如果有了chatGPT，就会发生改变，我们可以输入一段文字（以后也可以是语音进行描述）告诉chatgpt我们要什么样的书，chatGPT不会返回所有的书的结果，而是进行书的推荐，它已经浏览和处理了所有的结果，仅仅输出最好的一个结果和描述内容，这样就省去了人为的分辨不同结果质量和可靠性的过程，一步到位。

谷歌Chrome浏览器提供了Perplexity插件，我们可以在Chrome浏览器上调用chatGPT的能力

有一些需要明确答案的问题，可以让它做一些推荐，它就可以同时成为导游，美食顾问。

另外微软也正在把chatGPT集成到必应搜索中，Google也在研发Bard集成到自家搜索引擎，百度即将出版文心一言，想必不久之后就可以体验到带AI的智能搜索引擎了，

题海终结者

国外一项对1000多名学生展开的调查显示，超过89%的学生使用ChatGPT来帮助完成家庭作业。一位大学教授曾告诉媒体，他发现班上最好的论文是由ChatGPT创作的。

AI做题家卷疯了！高数考试正确率81%，竞赛题成绩超过计算机博士

chatGPT深受学生党的喜爱，题海无涯苦作舟，从苦海中解脱的这一天好像终于要来了。用过的chatGPT解题的学生都说好，但是教育部门并不这么认为。

教育部门普遍对ChatGPT持谨慎态度，美国多所公立学校禁用了ChatGPT，原因是担心作弊。纽约市教育部门发言人认为，该工具"不会培养批判性思维和解决问题的能力"，多家科学期刊也禁止将ChatGPT列为论文"合著者"。

有批评者指出，这是一种"高科技剽窃"和"避免学习的方式"。也有人认为，传统教育将被彻底颠覆。

别忘了chatGPT可是索引了互联网的所有内容，所以某种意义上只要互联网上有正规的题目、正规的解题思路和答案，chatGPT都是可以找到的。

文本处理大师

chatGPT最擅长的就是文本补全，根据一段Prompt提示进行文本的输出，这才是chatGPT最拿手的地方，互联网上的资料都是chatGPT的训练语言库，通过chatGPT的模型训练，它能够很好的驾驭文本的输出，文本的输出包括了下面几个方面

文本模式补全

文本补全最常见形式是根据一段输入的语义和命令，进行文本内容的生成。chatGPT能够很好的识别到输入语言的模式，因此得到的答案和输入的内容具有相同的模式，看起来合情合理。

文本总结

chatGPT****同样很善于总结文本的内容，给它一段话和总结文本的命令，它能够很好的做到这一点

文本生成

chatGPT在写文章和作诗方面的天赋，在文本生成上体现的最明显，给它一段生成某一段内容的提示，chatGPT就可以开始创造内容了

同样是让chatgpt用鲁迅的风格写一篇中国国足的文章，左边用中文输入，右边用英文输入，然后再把英文的输出转换为中文，可以看到右边生成的内容思想更高，所言更有物一些。

由文本生成衍生而来的生成功能很多，为各个行业进行赋能，有一些行业需要编写一些常规冗繁的内容，这种工作chatGPT就可以胜任，写体育评论、一篇记者短篇报道、为律师写律师函等。

绘画大师

DALLE2是一款AI绘画产品，同样由openAI公司推出，作为chatGPT的姊妹产品，发布时间比chatGPT稍微早几个月，这款绘画产品能够根据语言输入的内容提示进行语义的分析，使其能够通过对语义的理解进行丰富的联想，画出令人感到惊讶的作品，画风天马行空简直就是数字艺术家。

输入描述：panda mad scientist mixing sparkling chemicals（疯狂的熊猫科学家正在混合发光化学物质，数字艺术）

输入描述：a cat submarine chimera, digital art（猫潜艇嵌合体，数字艺术）

如果对画出来的作品风格不满意，还可以进行variation变化操作，能够根据origin风格进行一定程度的变化，得到很意外的变化

左边第一张是origin图片，右边四张是变化后的图片。

程序员使用chatGPT

stackoverflow加强版

程序员在日常开发中难免遇到一些问题和坑，超出自己经验之外的问题，一般第一时间都会上Google去搜索，这时候就有一个问题，搜索引擎会返回很多网页的排序结果，一般来说第一个结果是最为靠谱的，但是有些时候第一个结果也不见得可以解决问题。这个时候，我们会去一个挨着一个查看第二个、第三个网页的结果，每一个网页的内容都需要花时间去甄别是否靠谱，是否真的有帮助，十分耗费精力。

这个时候，如果有了chatGPT会不会不一样呢？

在GOLAND 里面，使用git命令的时候出了一个Error，Error很长，半天没有看懂为什么出现这个问题

第一反应问google，通过关键词进行搜索

返回的网页确实有能够解决问题的，这一点Google是ok的，有个问题是Google返回的结果的正确性和排序对输入的关键词依赖很高，如果输入的关键词不当，很难在较短的时间内获取到解决问题的办法。

下面看看chatGPT怎么解决吧

chatGPT不会像搜索引擎一样返回排序后的搜索结果，而是一针见血的给出直接的解决方案！这确实是杀手级别的利器啊，有了chatGPT，谁还会花精力一个挨着一个去看搜索引擎返回的结果呢

外部调用chatGPT

openAI提供了chatGPT的API接口调用方式，也基本支持所有语言通过openAI依赖包引入openAI模块的SDK包，方便开发人员在代码中进行集成。

python

Go 复制代码

$ pip install openai

Python 复制代码

import os
import openai
# Load your API key from an environment variable or secret management service
openai.api_key = os.getenv("OPENAI_API_KEY")
response = openai.Completion.create(model="text-davinci-003", prompt="Say this is a test", temperature=0, max_tokens=7)

Golang

go语言也有gpt3的包可以直接使用chatGPT模型了

github.com/sashabarano...

Python 复制代码

go get github.com/sashabaranov/go-gpt3

代码辅助

Codex 模型是我们可以理解和生成代码的基于GPT-3 模型的产物。他们的训练数据包含自然语言和来自** GitHub 的数十亿行公共代码。**

他们最擅长 Python，精通 JavaScript、Go、Perl、PHP、Ruby、Swift、TypeScript、SQL 甚至 Shell 等十几种语言

Codex这个系列的模型语料库就是Github的代码，专门针对代码进行训练，擅长于补全代码、文本翻译成代码、代码错误检查、单元测试编写等一系列特定任务。

代码解释

大概过程

遍历输入从0~N*(N+1)/2个数字，加入到Input信道中
在worker routine中把input信道的内容取出放到output信道
在主线程中计算output信道中所有数字的和

代码补全

描述代码的功能意图，再指定一下语言，Codex模型就可以进行代码输出了。

代码转换

把3.3.1节的golang代码转换为python代码

代码Review&Debugging

把chatgpt写的代码，关键的地方删掉一两句然后让它自己来review并且debug

Copilot

Copilot****代码辅助工具就是基于Codex模型的一个专业辅助写代码的工具，支持主流IDEs，VS Code，JetBrains等，目前需要付费使用

ChatGPT背后的技术

从AI的大类来讲，chatGPT属于自然语言处理（Natural Language Processing）这个分支学科，此领域探讨如何处理及运用自然语言；自然语言处理包括多方面和步骤，基本有认知、理解、生成等部分。自然语言认知和理解是让电脑把输入的语言变成有意思的符号和关系，然后根据目的再处理。自然语言生成系统则是把计算机数据转化为自然语言。

预训练模型的发展

预训练模型是什么

从字面上看，预训练模型（pre-training model）是先通过一批语料进行训练模型，然后在这个初步训练好的模型基础上，再继续训练或者另作他用。这样的理解基本上是对的，预训练模型的训练和使用分别对应两个阶段：**预训练阶段（pre-training）和微调（fune-tuning）**阶段。

预训练阶段一般会在超大规模的语料上，采用无监督（unsupervised）或者弱监督（weak-supervised）的方式训练模型，期望模型能够获得语言相关的知识，比如句法，语法知识等等。经过超大规模语料的"洗礼"，预训练模型往往会是一个Super模型，一方面体现在它具备足够多的语言知识，一方面是因为它的参数规模很大。

里程碑论文的发表时间线

模型	论文	发布时间	关键词	参数量	预训练数据量
Transformer	《Attention Is All You Need》	2017.06	注意力机制
GPT-1	《Improving Language Understanding by Generative Pre-Training》	2018.06	无监督学习	1.17亿	5GB
BERT	《BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding》	2018.10	双向预测
GPT-2	《Language Models are Unsupervised Multitask Learners》	2019.02	多任务学习	15亿	40GB
GPT-3	《Language models are few shot learners》	2020.05	海量参数	1750亿！	45TB
GPT-3.5 (chatGPT)		2022.11	暴力出奇迹	>1750亿	>45TB
GPT-4.0		2023.03.15	多模态输入（图像、语音等）	?	?

几代预训练模型的演变

openAI GPT家族的比较

Generative Pre-trained Transformer **（GPT）系列**是由OpenAI提出的非常强大的预训练语言模型，这一系列的模型可以在非常复杂的NLP任务中取得非常惊艳的效果，例如文章生成，代码生成，机器翻译，Q&A等，而完成这些任务并不需要有监督学习进行模型微调。而对于一个新的任务，GPT仅仅需要非常少的数据便可以理解这个任务的需求并达到接近或者超过state-of-the-art的方法。

当然，如此强大的功能并不是一个简单的模型能搞定的，GPT模型的训练需要超大的训练语料，超多的模型参数 以及超强的计算资源。GPT系列的模型结构秉承了不断堆叠transformer的思想，通过不断的提升训练语料的规模和质量，提升网络的参数数量来完成GPT系列的迭代更新的。GPT也证明了，通过不断的提升模型容量和语料规模，模型的能力是可以不断提升的。

模型	系列（子模型）	描述	擅长任务	数据更新时间
GPT-3	text-davinci-003	功能最强大的 GPT-3 模型。可以完成其他模型可以完成的任何任务，通常具有更高的质量、更长的输出和更好的指令遵循。还支持在文本中插入补全。	复杂的意图、因果、为听众总结	Jun 2021
	text-curie-001	非常有能力，但比达芬奇更快，成本更低。	语言翻译、复杂分类、文本情感、摘要	Oct 2019
	text-babbage-001	能够执行简单的任务，速度非常快，成本更低。	适度分类、语义搜索分类	Oct 2019
	text-ada-001	能够执行非常简单的任务，通常是 GPT-3 系列中最快的型号，而且成本最低。	解析文本、简单分类、地址修正、关键词	Oct 2019
Codex	code-davinci-002	功能最强大的 Codex 型号。特别擅长将自然语言翻译成代码。除了补全代码，还支持在代码中插入补全。	根据提示写代码、补全代码	Jun 2021
	code-cushman-001	几乎与 Davinci Codex 一样强大，但速度稍快。这种速度优势可能使其成为实时应用程序的首选。	根据提示写代码、补全代码

不同的子模型各有千秋，API接口调用价格也大不相同，适应于不同的特定任务执行。

chatGPT的训练

在刘慈欣的小说《诗云》中，神级文明感叹汉语诗词"用如此少的符号，且有严格的诗律和音韵约束，构成如此小巧的汉字矩阵，却能涵含着如此丰富的感觉层次和含义分支"。所以，神级文明打算"超越李白"，把所有的诗都写出来，在五言和七言诗的格律下，试遍所有汉字的组合。

那么会有多少诗呢？仅仅三个汉字写一首361个字的诗，总共能组合出3的361次幂首诗，这等于10的271次幂，而宇宙中的全部原子只有10的80次幂个。神级文明为了制造储存器，来储存所有汉字组合的诗，消耗了整个太阳系的物质，制造了一片直径一百亿公里的晶片星云。

但是，神级文明得到了全部的诗词，却无法将其中的杰作从诗云中检索出来，因为无法编制具备古诗鉴赏力的软件。这就意味着，无法理解文字，就无法掌握文字。

小说的科幻基础逻辑是这样一个问题：文字的无限可能性，是否能在不理解文字的基础上，用技术去超越？

GPT-3是基于上下文的生成AI系统。当您向GPT-3提供提示或上下文时，它可以填写其余内容，它是如何做到的呢？

这里的核心还是在于GPT3****巧妙地在巨大的数据集中发现了模式，概率和一致性，因此它可以执行我们认为迄今为止尚无法实现的各种复杂任务。

简单的理解，在上下文中预测一个句子中下个单词出现的可能性，

这个公式的意思是当给定s1，s2，...，s(n-1)时，sn的概率是多少，但由于输入的句子的时序性，我们需要在前面加入乘积符号；用大白话讲就是已知前n-1个词的概率（s1,s2...代表每个词），计算第n个词的概率。

chatGPT是如何学会写诗的，应该是有专业的AI训练员告诉chatGPT什么样子的输出是一首诗的标准，chatGPT先通过暴力枚举输出一些答案，然后经过AI训练员的打分评价后更新判断一首好诗的标准，不断迭代这个过程，最后chatGPT能够写出一首好的诗歌。

训练监督策略模型
训练奖励模型 （Reward Mode，RM）
采用PPO（Proximal Policy Optimization，近端策略优化）强化学习来优化策略

**第一阶段：训练监督策略模型 **GPT 3.5本身很难理解人类不同类型指令中蕴含的不同意图，也很难判断生成内容是否是高质量的结果。为了让GPT 3.5初步具备理解指令的意图，首先会在数据集中随机抽取问题，由人类标注人员，给出高质量答案，然后用这些人工标注好的数据来微调 GPT-3.5模型（获得SFT模型, Supervised Fine-Tuning）。此时的SFT模型在遵循指令/对话方面已经优于 GPT-3，但不一定符合人类偏好。

ChatGPT模型的训练过程

第二阶段：训练奖励模型 （Reward Mode，RM）这个阶段的主要是通过人工标注训练数据，来训练回报模型。在数据集中随机抽取问题，使用第一阶段生成的模型，对于每个问题，生成多个不同的回答。人类标注者对这些结果综合考虑给出排名顺序。这一过程类似于教练或老师辅导。接下来，使用这个排序结果数据来训练奖励模型。对多个排序结果，两两组合，形成多个训练数据对。RM模型接受一个输入，给出回答质量的分数。这样，对于一对训练数据，调节参数使得高质量回答的打分比低质量的打分要高。

第三阶段：采用PPO （Proximal Policy Optimization，近端策略优化）强化学习来优化策略 PPO的核心思路在于将Policy Gradient中On-policy的训练过程转化为Off-policy，即将在线学习转化为离线学习，这个转化过程被称之为Importance Sampling。这一阶段利用第二阶段训练好的奖励模型，靠奖励打分来更新预训练模型参数。在数据集中随机抽取问题，使用PPO模型生成回答，并用上一阶段训练好的RM模型给出质量分数。把回报分数依次传递，由此产生策略梯度，通过强化学习的方式以更新PPO模型参数。

如果我们不断重复第二和第三阶段，通过迭代，会训练出更高质量的ChatGPT模型。

ChatGPT 的短板&限制

chatGPT的优点实在是太多了，自己试玩一段时间也能不断的挖掘出chatGPT的潜力，上面的工具使用部分我们见识到了ChatGPT惊人的生产力，难免会妖魔化ChatGPT，ChatGPT万能，chatGPT开启了AGI的大门，chatGPT yyds!

然而，chatGPT不是万能的，在一些领域方面，chatGPT确实是一个厉害的工具，在一些特定的情况下，能够帮助使用者解决一些问题，提高使用者的效率，但是在更专业的地方chatGPT提供的答案可能漏洞百出，回答整段话结构准确，但是没有实质的信息，有套话的感觉。

官方limitation说明

ChatGPT 有时会写出看似合理但不正确或荒谬的答案。解决这个问题具有挑战性，因为：（1）在 RL 训练期间，目前没有真实来源；(2) 训练模型更加谨慎导致它拒绝可以正确回答的问题；(3) 监督训练会误导模型，因为理想的答案取决于模型知道什么，而不是人类演示者知道什么。

ChatGPT 对输入措辞的调整或多次尝试相同的提示很敏感。例如，给定一个问题的措辞，模型可以声称不知道答案，但只要稍作改写，就可以正确回答。

该模型通常过于冗长并过度使用某些短语，例如重申它是 OpenAI 训练的语言模型。这些问题源于训练数据的偏差（训练者更喜欢看起来更全面的更长答案）和众所周知的过度优化问题。

理想情况下，当用户提供模棱两可的查询时，模型会提出澄清问题。相反，我们当前的模型通常会猜测用户的意图。

虽然我们已努力使模型拒绝不当请求，但它有时会响应有害指令或表现出有偏见的行为。我们正在使用Moderation API来警告或阻止某些类型的不安全内容，但我们预计它目前会有一些漏报和漏报。我们渴望收集用户反馈，以帮助我们正在进行的改进该系统的工作。

使用中发现chatgpt的短板

目前不支持实时更新模型的能力

只是一个语言模型，数据库时间的限制到2021年，更多新的内容没有索引到
Our default models' training data cuts off in 2021, so they may not have knowledge of current events.(我们默认模型的训练数据在 2021 年中断，因此它们可能不了解当前正在发生的事情)

chatgpt一本正经胡说八道

小心chatGPT被玩坏了，有时候chatgpt一本正经胡说八道

对于没有索引到的内容，chatgpt擅于自圆其说，总是找一些看似相关都对，但是实质上没有信息量的语言进行组织，给出似是而非的答案，尤其是在数理计算过程的时候，过程都对但是结果错了就很费解。朱利安·托吉利乌斯（Julian Togelius）精辟地指出，GPT-3的表现常常像一个聪明的学生，他没有读完书，试图胡说八道。一些众所周知的事实，一些半真相和一些直率的谎言，在最初看起来像是一种流畅的叙述中交织在一起。

chatgpt****索引互联网内容，可能有错误

chatgpt不能判断一个知识的对错和信息的真假，因为AI的训练素材中包括了所有类型的文字，有的是事实而有的就是谣言和虚假信息，AI没有主观意识，只能不分青红皂白全部接收，目前的chatgpt还是不具备分辨内容可信度的能力，有人故意在互联网上发布错误、误导内容，污染训练素材库，这些都会影响到chatgpt的输出结果。

非母语能力还不够强大

chatgpt的母语是英语，对于同一个问题的表述和查询，如果使用不同的语言，得到的结果也是有偏差的，其中用英文进行的问答效果是最好的，可以看看2.4.2节写诗举的中国足球的例子。很大的一个原因就是英文的语料库内容多得多，训练效果自然也更好，中文的语料库相对要弱一些，很多中文的回答更像是英文的直接翻译。

所以使用的时候尽量使用英文对话，而不是中文进行对话

chatGPT的讨论

GPT系列从1到3，通通采用的是transformer架构，可以说模型结构并没有创新性的设计。在微软的资金支持下，这更像是一场赤裸裸的炫富：1750亿的参数，31个分工明确的作者，超强算力的计算机（ 285,000 个CPU， 10,000 个GPU），1200万美金的训练费用，45TB的训练数据（维基百科的全部数据只相当于其中的 0.6% ）。这种规模的模型是一般中小企业无法承受的，而个人花费巨金配置的单卡机器也就只能做做微调或者打打游戏了。甚至在训练GPT-3时出现了一个bug，OpenAI自己也没有资金重新训练了。

读懂了GPT的原理，相信我们就能客观的看待媒体上对GPT-3的过分神话了。GPT-3的本质还是通过海量的参数学习海量的数据，然后依赖transformer强大的拟合能力使得模型能够收敛。基于这个原因，GPT-3学到的模型分布也很难摆脱这个数据集的分布情况。得益于庞大的数据集，GPT-3可以完成一些令人感到惊喜的任务，但是GPT-3也不是万能的，对于一些明显不在这个分布或者和这个分布有冲突的任务来说，GPT-3还是无能为力的

chatGPT已经出圈了，这是无可争议的事实，一百个人对chatGPT就有一百种看法，在网上冲浪也能听到专业人士和网友不同的声音，有积极意义的认为AI的进步是人类的进步，AI能解放生产力赋能各个行业；也有消极意义的声音认为AI会抢各行各业的饭碗，大批程序员在未来即将失业。

网上的声音大致可以分为很多个组，👈🏻左边的认为chatgpt还不够智能，需要继续改进并且存在使用风险，右边👉🏻的组已经觉得通用人工智能要来了，末日更近一步，中间的👇🏻则为人类的工作发愁