机器学习基础入门(1)

最近也在努力的想要学习些机器学习的知识,目前正在了解各个概念及术语,下面就把学习到的概念都列出来。

人工智能 (AI) Artificial intelligence

人工智能生成内容(AIGC)

机器学习(ML) Machine Learning

是人工智能 (AI) 的一个分支,专注于使用数据和算法来模仿人类的学习方式,从而随着时间的推移逐渐提高准确性

Machine Learning 共分为四类,分别是:监督式非监督式半监督式学习强化学习

深度学习(DL)Deep Learning

  1. 深度学习是机器学习的一个分支(最重要的分支)
  2. 机器学习是人工智能的一个分支

**自然语言处理(NLP)**Natural Language Processing

语言模型(LM)Language Model

大预言模型(LLM)Large Language Model

小语言模型(SLM)Small Language Model

神经网络语言模型(NNLN)Neural Network Language Model

深度学习算法:

卷积神经网络(CNN)Convolutional Neural Network

参考资料: CNN

循环神经网络(RNN)

参考资料: RNN

生成式对抗网络(GAN)

深度强化学习 (RL)

Transformer架构

Transformer架构是大型语言模型背后的核心架构。它采用了自注意力机制来捕捉输入序列中的长距离依赖关系,避免了传统循环神经网络(RNN)中存在的梯度消失问题。Transformer包括编码器和解码器两个部分,其中编码器用于将输入序列编码为隐藏表示,而解码器则用于根据编码器的输出生成目标序列。

自注意力机制(Self-Attention)

自注意力机制是Transformer架构的核心之一。它允许模型在处理每个输入位置时都可以关注到其他位置的信息,并且可以动态地调整不同位置的重要性。通过计算每个位置与其他位置的相关性,自注意力机制可以有效地捕捉序列中的语义关系,从而提高模型在自然语言处理任务中的性能。

微调(Fine-tuning)

在预训练模型的基础上,通过在特定任务上进行少量训练以调整模型参数,以适应特定任务的需求。

泛化(Generalization)

模型在未见过的数据上表现良好的能力,避免过拟合于训练数据。

文本转语音(TTS)Text To Speech

将书面文字转换为可听见的语音的技术

语音转文字(STT)Speech To Text

算力单位:

OPS(operations per second)

每秒处理次数,通常是默认对INT8整数型数据的处理次数(INT8省略不写)

TOPS(Tera Operations Per Second)

GPU每秒可以执行的深度学习推理操作次数,1TOPS=处理器每秒钟可进行一万亿次(10^12)操作。

FLOP S **(**Floating point number operations per second)

每秒处理浮点数次数,加上FL后FLOPS指的是对FP32浮点数的处理次数

TFLOPS ( Tera Floating point number operations per second**)**

每秒处理浮点数的万亿次数

FLOP s (Floating point number operations)

模型参数的处理次数,注意s是小写

MOPS (Million Operation Per Second) 一百万次(10^6) 兆;百万

GOPS (Giga Operations Per Second) 十亿次 (10^9) 千兆;十亿(billion,B)

TOPS (Tera Operations Per Second) 一万亿次 (10^12) 兆兆

换算:

1 TOPS = 10^12 FLOPS

1 GOPS = 10^9 FLOPS

1 MOPS = 10^6 FLOPS

相关推荐
羊小猪~~4 分钟前
神经网络基础--什么是正向传播??什么是方向传播??
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习
AI小杨5 分钟前
【车道线检测】一、传统车道线检测:基于霍夫变换的车道线检测史诗级详细教程
人工智能·opencv·计算机视觉·霍夫变换·车道线检测
晨曦_子画10 分钟前
编程语言之战:AI 之后的 Kotlin 与 Java
android·java·开发语言·人工智能·kotlin
道可云11 分钟前
道可云人工智能&元宇宙每日资讯|2024国际虚拟现实创新大会将在青岛举办
大数据·人工智能·3d·机器人·ar·vr
人工智能培训咨询叶梓21 分钟前
探索开放资源上指令微调语言模型的现状
人工智能·语言模型·自然语言处理·性能优化·调优·大模型微调·指令微调
zzZ_CMing21 分钟前
大语言模型训练的全过程:预训练、微调、RLHF
人工智能·自然语言处理·aigc
newxtc22 分钟前
【旷视科技-注册/登录安全分析报告】
人工智能·科技·安全·ddddocr
成都古河云23 分钟前
智慧场馆:安全、节能与智能化管理的未来
大数据·运维·人工智能·安全·智慧城市
UCloud_TShare26 分钟前
浅谈语言模型推理框架 vLLM 0.6.0性能优化
人工智能
软工菜鸡30 分钟前
预训练语言模型BERT——PaddleNLP中的预训练模型
大数据·人工智能·深度学习·算法·语言模型·自然语言处理·bert