大语言模型学习之路(一)

先了解一些基本的概念:

一,什么是生成式人工智能:

指机器能够产生复杂有结构的物件(复杂指无法穷举;这样的物件比如说文件,音乐,影像等)。其中的生成指的是AI通过对大量数据的内在规律进行学习,从而自主创造出一个与训练内容类似的但是从未存在过的内容。

还有一种是判别式的,区别就是,如果给他们成千上万张猫图片进行训练,生成式AI在训练后,可以自主生成一张小猫的图片,而判别式只能判断用户输入的图片是不是猫,而无法做到生成。

二,什么是机器学习:

传统的编程时是程序员输入规则和数据,然后生成相应的结果。而机器学习是输入数据和预期的结果,让机器自己去发现规则,本质是指让机器从数据中改进自身的性能。

我们举一个不是很精确的例子:我们给AI一张图片,并告诉它这是一张猫的图片,让AI通过分析图片的各种参数,从而使其达到可以识别图片是不是一只猫的效果。(这里的参数并不是常规意义上理解的参数,它是一种模型内部的参数,比如神经网络的权重啥的。并且在实际运用时也并非是一张图片,而是成千上万张。)

也可以理解为AI通过调整内部函数,生成一个可以将像素模式映射到类别标签的抽象数学函数,训练完成后,就可以通过这个新的函数对用户输入的图片进行预测。

三,泛化是什么

AI给出的概念:指模型把从训练数据中学到的规律,正确应用到从未见过的数据上的能力。

具体过程: 当AI 面对一个没有见过的组合时,他会根据在训练时见过的类似的组合,通过打分抽取的方式进行回答。AI通过泛化。将原本的生成式的变为比较式的(一种不是很准确的理解方式),从而降低难度。

就如同上面这个图片所展示的,接受到问题后会计算词汇表中的词"拼接"到问题后面的概率(分数),并按照概率(分数)进行抽取,并不是一定会抽到概率(分数)最大的,是随机抽取只不过概率(分数)大的,抽到的几率大。

这种采用的方式,会使答案更加多样,更加自然。但也有问题,比如可能会出现一些比较离谱的答案。相比于这种方式,还有一种是贪心搜索。贪心搜索这种方式就是只抽取概率(分数)最大的,他的优点是更加准确,但是也存在重复性大的问题。