大模型算法学习2026.6.1

主播是双非本211硕研0,计科本软工硕,之前了解过简单的机器学习和深度学习,目前打算冲大模型算法,同时准备agent应用开发作为planB。暂时打算是学cs224n、cs336和之前准备复试买的一个深度学习课,学完后做2个项目投小厂的算法实习,以后会不定期更新学习内容。

----------------------------------------------------------分割线--------------------------------------------------------------

Softmax函数作用:Softmax函数的核心作用是将一组任意实数转换为总和为1、取值在0到1之间的概率分布,它通过指数运算放大数值间的差距,让较大数值对应的概率更突出、较小数值对应的概率被压缩,从而清晰呈现每个类别的置信度;该函数广泛用于深度学习的分类任务,在Transformer架构(含大语言模型)中,注意力机制权重计算和模型输出层预测下一个词的概率时都依赖Softmax,是连接模型原始分数与概率决策的关键函数。

分布语义学:一个单词的含义由经常出现在它附近的单词给出。

数据用100维、300维来表示是什么意思?

用100维、300维表示数据就是把一个原本复杂的事物(比如一个词、一张图、一个人)抽象成由100个或300个数字组成的列表(数学上叫"向量"),每一个数字都代表这个事物的某个潜在特征或属性,而这些特征通常是计算机从大量数据中自动学习出来的,不是我们人为定义的。比如,假设用300维的稠密向量表示"苹果",第38维表示"水果",第102维表示"手机"。当然维度越高表达能力越强,但计算成本和数据需求也越大。

相关推荐
疯狂打码的少年5 分钟前
【数据结构】选择类排序:简单选择与堆排序
java·数据结构·笔记·算法
Be for thing9 分钟前
【嵌入式成长10】STC89C51蜂鸣器|有源/无源蜂鸣器区分、三极管驱动、定时器播放音乐实战
单片机·嵌入式硬件·学习
那年窗外下的雪.11 分钟前
Linux 学习笔记
linux·笔记·学习
爱奥尼欧33 分钟前
【daily practice】最长数字串怎么找?岛屿数量如何沉岛秒数?六棍拼两三角形有几种验法?(5.字符串中找出连续最长的数字串、岛屿数量、拼三角)
笔记·学习
Bernice橘子40 分钟前
职场英语学习计划Day040
学习
tachibana21 小时前
把RAGAS跑起来
数据库·人工智能·ai·架构·大模型·llm·rag
晚风醉蝶1 小时前
1-16-计数排序-CountingSort
python·算法·排序算法
疯狂打码的少年1 小时前
【数据结构】排序算法:归并排序与基数排序
数据结构·笔记·算法·排序算法
thesky1234561 小时前
27届大模型面试准备(五十):大模型训练稳定性与容错工程——从 loss spike 到弹性训练
大模型·nan·混合精度·训练稳定性·容错训练·loss spike·bf16
吃旺旺雪饼的小男孩1 小时前
U-Net 语义分割详解:原论文、PyTorch 实现与真实消融实
人工智能·pytorch·python·算法