唐宇迪2025最新机器学习课件——学习心得(1)

今天是10.21日,开始学习

这里推导了求似然函数,推导到最后让似然函数置零,得到最小二乘解,相当于构建了问题和问题的求解方向

下一步,需要用某个解法去更新他,不能求出来一个值就完事了,还要找到让目标函数最优的那个theta,即下图的梯度下降

批量下降和随机下降的区别就是运算量的区别,避免了m个样本数量过大带来计算量过大的问题,这么说,小样本是否是可以用枚举来满足目标函数最小的?

步长就是学习率

这里也侧面帮助理解梯度下降的本质其实就是一个搜索策略,每次将自变量往梯度的方向求解计算,然后直到目标函数不怎么变化

利用一个较小的值就可以约束目标函数的变化,就判断为收敛,比如设置一个阈值tolerance=1e-6

复制代码
# 检查是否收敛
        if abs(prev_loss - current_loss) < tolerance:
            no_improvement_count += 1
        else:
            no_improvement_count = 0
相关推荐
孟健23 分钟前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道24 分钟前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor9961 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
字节跳动视频云技术团队2 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术2 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream3 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
郝学胜-神的一滴4 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
塑料铲子4 小时前
你的 Skill 越多越蠢?Token 上下文爆炸的求生指南
机器学习·agent
火山引擎开发者社区4 小时前
豆包工作,3 个月,800 万,20 亿
人工智能
Chuck.li4 小时前
AI 长篇创作工具选型:工作流对照与自测清单
人工智能·大模型·ai写作·网文作者·ai网文·豆包写作