5.28 孔老师 nlp讲座

本次讲座主要介绍了语言模型的起源、预训练模型以及大语言模型(需要闫老师后讲)等内容。首先,语言模型的起源可以追溯到语音识别中的统计语言模型,通过估计声学参数串产生文字串的概率来找到最大概率的文字串。然后,介绍了语言模型的基本概念,即给定一个文字串S,用P(w1, w2, ..., WN)表示其概率。最后,提到了预训练模型在大语言模型中的应用,以及如何在语料库中解决条件概率稀疏的问题。

1 语言模型与条件概率估计方法

主要讨论了如何估计条件概率,通过语言模型来反映句子出现的可能性。语言模型通常用于估计给定上文条件下,下一个词出现的概率。 通过最大似然估计 方法,利用语料库中的数据来计算概率。但在实际应用中,可能会遇到分子概率为零的情况,此时需要采用平滑方法进行处理。此外,随着语料库的扩大,可能会出现一些新词或罕见词汇,导致分子和分母的数目减少,影响概率估计的准确性。

2 N元语言模型及其应用

为了解决语言模型中的问题,可以通过平滑策略和假设任意单词的出现只与过去出现的 N-1 个词相关 ,从而得到 N 元语言模型。N 元语言模型的概率估计会简化为只考虑当前词前面出现的 N-1 个词。例如,一元语言模型中每个词的出现与它前面零个词相关,二元语言模型中每个词的出现只与它前面一个词出现相关,以此类推。在垃圾邮件过滤中,可以使用字符级别的语言模型,通过联合一元、二元、三元、四元、五元等特征,使用逻辑回归模型进行邮件分类。

3 解决语言模型零概率问题的方法

讨论了语言模型中的零概率问题,提出了数据平滑技术 来解决这个问题。以二元语言模型为例,通过拉普拉斯法则和加法平滑方法,可以合理估计出句子出现的概率,避免了零概率问题。然后讨论了传统语言模型的缺点,指出传统语言模型在信息检索和纠错等领域仍然有广泛应用,但可能存在一些问题。

4 平滑技术及其在语言模型中的应用

为解决零概率问题,引入了平滑技术,但这种方法设计规则复杂且可能出现规则冲突。传统语言模型的缺点在于维度灾难和数据稀疏性,难以处理上下文泛化问题。提出了一种基于人工设计规则的方法,通过将句子展开成由各个词组成的联合概率,用条件概率展开。同时,尝试将词W出现的概率建模成一个函数,通过输入词W的上下文来估计词W出现的概率。

5 神经网络在语言模型中的应用

讨论了如何使用神经网络建模语言模型,特别是前向神经语言模型。首先,研究者们将概率估计转化为建模问题。2003年,Bingo等人提出了神经概率语言模型,引入了词向量的概念,用低维或固定位数的实数向量表示单词,代替了高维离散变量。这种表示方法降低了模型的复杂性,提高了学习效率。

6 前向神经网络在语言模型中的应用与改进

讲述了前向神经网络在语言模型估计中的应用,以及循环神经网络在解决语言模型问题时的优势。前向神经网络通过将词嵌入到固定空间向量中,然后通过多层神经网络进行学习,但存在输入长度固定、无法处理变长上下文信息等问题。为解决这些问题,2010年研究者提出了循环神经网络,通过考虑多个时间步上的信息来建模语言模型,使得输入长度不受限制。

7 自然语言处理中的预训练模型与语言模型

介绍了学习词向量的方法,如CBOW和skip gram,并提到了基于循环神经网络的语言模型。同时,提到了计算机视觉领域的研究受到自然语言处理的启发,以及预训练微调在图像处理中的应用。此外,还介绍了基于transformer的大规模预训练语言模型,如GPT、BERT等,以及动态词向量算法。最后,提到了后续将针对各种任务进行讲座。

8 大模型学习与实验进展的规划建议

主要讲述了BERT模型的发展历程,以及预训练模型在自然语言处理领域的应用。闫老师建议同学们在开学前了解这些基本概念,以便更好地跟进项目组的研究工作,帮助师兄完成实验,加快论文发表。闫老师还鼓励同学们在研究生阶段多提问,多交流,提高自己的学术水平。同时,闫老师会在技术方面带领大家解决问题,无论是谁名下的学生有问题,都可以向导师请教。

9 NLP在深信领域及代码检测应用分享

在这段内容中,提到了NLP在深信领域和代码检测应用上的一些想法和经验分享。接下来的时间里,会尽量在下周或下下周为大家分享相关内容。希望大家在这段时间积累关于NLP的基础知识,以便更好地投入到实验中。

会议待办

1.闫凯需要重新安排时间给大家讲解,因为他的电脑出了问题

2.在入学前掌握预训练模型的基本概念,以便更好地跟进项目组的研究工作并完成实验

相关推荐
会的全对٩(ˊᗜˋ*)و4 分钟前
【数据挖掘】数据挖掘综合案例—银行精准营销
人工智能·经验分享·python·数据挖掘
云渚钓月梦未杳6 分钟前
深度学习03 人工神经网络ANN
人工智能·深度学习
在美的苦命程序员9 分钟前
中文语境下的视频生成革命:百度 MuseSteamer 的“产品级落地”启示录
人工智能·百度
kngines25 分钟前
【字节跳动】数据挖掘面试题0007:Kmeans原理,何时停止迭代
人工智能·数据挖掘·kmeans
Kali_0728 分钟前
使用 Mathematical_Expression 从零开始实现数学题目的作答小游戏【可复制代码】
java·人工智能·免费
贾全34 分钟前
第十章:HIL-SERL 真实机器人训练实战
人工智能·深度学习·算法·机器学习·机器人
每日摸鱼大王40 分钟前
互联网摸鱼日报(2025-07-01)
人工智能
GIS小天1 小时前
AI+预测3D新模型百十个定位预测+胆码预测+去和尾2025年7月4日第128弹
人工智能·算法·机器学习·彩票
我是小哪吒2.01 小时前
书籍推荐-《对抗机器学习:攻击面、防御机制与人工智能中的学习理论》
人工智能·深度学习·学习·机器学习·ai·语言模型·大模型
慕婉03071 小时前
深度学习前置知识全面解析:从机器学习到深度学习的进阶之路
人工智能·深度学习·机器学习