机器学习 基础 笔记 1

train阶段就是正常的学习

validation是知道正确答案是啥,检查正确率

test是不知道正确答案是啥,看看有啥结果

训练的时候记得model.train

测试(后面两种都是)的时候要model.eval

(有些模型两种阶段做的事不一样)

测试的时候记得with torch.no_grad(),一来省算力,一来防止自己学起来了

save,load

数据处理

生成式的神经网络就是要网络生成一系列结果,让这个结果与已有的数据对比,确保他们相似度高,不会出现离谱的结果。用G代表生成网络,D代表鉴别器网络

其实就是gan(生成对抗网络)分为生成器与鉴别器。生成器会产生"假数据",鉴别器需要对比真假数据,看出他们是真是假(也就是看出他们的解空间的差异,李宏毅老师所讲的divergence)

"

这是一个生成器和判别器博弈的过程。生成器生成假数据,然后将生成的假数据和真数据都输入判别器,判别器要判断出哪些是真的哪些是假的。判别器第一次判别出来的肯定有很大的误差,然后我们根据误差来优化判别器。现在判别器水平提高了,生成器生成的数据很难再骗过判别器了,所以我们得反过来优化生成器,之后生成器水平提高了,然后反过来继续训练判别器,判别器水平又提高了,再反过来训练生成器,就这样循环往复,直到达到纳什均衡。

"

LG=H(1,D(G(z)))

这是生成网络的损失函数。z是随机输入的x,H()是判断二者距离,1代表真

可见生成网络的目标就是让D尽量以为自己是真的(与数据集相近的)

LD=H(1,D(x))+H(0,D(G(z)))

这是判别网络的损失函数,0代表假。D(x)是鉴别器对真实数据的结果。

可见生成网络要尽量做到看出真的,认出假的。可以发现这其实就是一个二元分类器的经典loss函数。

可以看到,在训练(更新)D的时候要练到底,保证找到最大的divergence(差别),确认了这个G最大有多大的问题后,再更新G,这个G就不能更新太多次了,因为G变化太大可能导致D难以辨别,对应的原来那个点可能就不是divergence最大的那个点了。如图:

相关推荐
汤姆宝库31 分钟前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静33 分钟前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康1 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea2 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen2 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷2 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘2 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
阿里云大数据AI技术3 小时前
云栖实录|倍思科技 × 阿里云:让VOC洞察从“生成报告”走向“业务可用”
人工智能·elasticsearch·agent
XLYcmy3 小时前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测
Sakura_j_h_3 小时前
MCP SDK 2.0 实战:用 MCPServer 搭本地笔记检索服务
开发语言·笔记·python·qt·ai工具·mcp·mcpserver