概率论

机器学习之概率论如果将线性代数和微积分视作AI的基础架构，那么概率统计就是赋予AI灵魂的“神经系统”。它使AI模型能够像人类一样思考、推理，即便在信息不完整、情况不明朗时，也能做出明智决策。就如同人类依靠经验和归纳认知世界，AI也需借助概率统计理解数据中的模式、预测未来并做出最优选择。现在，让我们系统梳理概率统计的基础知识及其在AI领域的核心应用。

二项式分布（Binomial Distribution）让我们来看看玩板球这个例子。假设你今天赢了一场比赛，这表示一个成功的事件。你再比了一场，但你输了。如果你今天赢了一场比赛，但这并不表示你明天肯定会赢。我们来分配一个随机变量X，用于表示赢得的次数。 X可能的值是多少呢？它可以是任意值，这取决于你掷硬币的次数。

zbdx不知名菜鸡

self Attention为何除以根号dk？（全新角度）假设查询向量 q i q_i qi和键向量 k j k_j kj的每个分量均为独立同分布的随机变量，且服从标准正态分布，即： q i ( m ) , k j ( m ) ∼ N ( 0 , 1 ) ( m = 1 , 2 , … , d k ) q_i^{(m)}, k_j^{(m)} \sim \mathcal{N}(0,1) \quad (m=1,2,\dots,d_k) qi(m),kj(m)∼N(0,1)(m=1,2,…,dk) 此时，每个分量的均值为0，方差为1。

优美的赫蒂

扩展卡尔曼滤波x k = f ( x k − 1 , u k − 1 , w k − 1 ) / / 状态方程 − − − − z k = h ( x k , v k ) / / 观测方程 x_k=f(x_{k-1},u_{k-1}, w_{k-1}) // 状态方程\\ ----\\ z_k=h(x_k, v_k) //观测方程 xk=f(xk−1,uk−1,wk−1)//状态方程−−−−zk=h(xk,vk)//观测方程

AI小白的第七天：必要的数学知识（四）概率是一个介于 0 和 1 之间的数，表示某个事件发生的可能性：例如，掷一枚公平的硬币，正面朝上的概率是 0.5。

离散概率分布：正态分布，二项分布，连续分布，正态分布的性质对于任何具有离散分布的随机变量，其样本空间（可能的取值集合）是有限的或可数无穷的，并且每个可能的取值都对应一个概率。

从零构建大语言模型全栈开发指南：第一部分：数学与理论基础-1.1.2核心数学基础：线性代数、概率论与梯度优化👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路线性代数是描述高维数据与模型结构的核心工具，其核心概念包括：

【课堂笔记】定理：样本越多，测量的经验损失越接近真实损失给定一个模型 f : X → Y f:X \to Y f:X→Y，设数据分布 D \mathcal{D} D定义在 X × Y X \times Y X×Y，表示数据真实分布，且假设训练集和测试集的样本均从 D \mathcal{D} D中独立同分布(i.i.d)抽取。设损失函数为 l : Y × Y → R l:Y \times Y \to \mathbb{R} l:Y×Y→R，假设 l l l是有界的， ∀ y , y ^ ， a ≤ l ( y , y ^ ) ≤ b \forall y, \

人工智能的数学基础之概率论与统计学（含示例）接前文，我们已经深度分析了二值逻辑、三值逻辑到多值逻辑的变迁，知道了这是一个逻辑体系不断拓展和深化的过程，反映了人们对复杂现象和不确定性问题认识的逐步深入。具体看我的文章：二值逻辑、三值逻辑到多值逻辑的变迁（含示例）-CSDN博客

【数学基础】概率与统计#1概率论与信息论初步本系列内容介绍：主要参考资料：《深度学习》[美]伊恩·古德菲洛等著《机器人数学基础》吴福朝张铃著

躲藏博弈中的策略优化：整合历史数据、概率论与博弈论躲藏博弈(Hiding Games)作为一类特殊的博弈模型，广泛存在于军事对抗、网络安全、商业竞争甚至日常生活中。其核心在于一方(躲藏者)试图避免被另一方(寻找者)发现，双方各自选择策略以最大化自身收益。本文探讨如何通过整合历史数据分析、概率论方法与博弈论框架，构建更为高效的躲藏博弈决策模型，从而在动态对抗环境中获取策略优势。

三三木木七

概率论的基本知识逆概率还不懂，改天再想想。联合概率（Joint Probability）是概率论中的一个重要概念，用于描述多个随机变量同时取某些值的概率。联合概率可以帮助我们理解多个变量之间的关系。

解析富集分析中的过表达分析（ORA）：原理、应用与优化超几何分布（Hypergeometric distribution）是统计学上一种离散概率分布。它描述了由有限个对象中抽出n个对象，成功抽出k次指定种类的对象的概率（抽出不放回（without replacement））。例如在有N个样本，其中K个是不及格的。超几何分布描述了在该N个样本中抽出n个，其中k个是不及格的个数：

概率论与数理统计样本空间与随机事件：样本空间是随机试验所有可能结果的集合，通常用Ω表示。随机事件是样本空间的子集，表示随机试验的某些可能结果的集合。

躲藏博弈：概率论与博弈论视角下的最优策略选择想象这样一个场景：你在厕所里藏了一部手机，一周过去了，它仍未被发现。现在你面临一个决策：在这个看似简单的问题背后，隐藏着丰富的概率论和博弈论思考。尤其是当我们加入额外条件：你有藏匿物品的历史，且大多数先前尝试都以失败告终。

【统计至简】【古典概率模型】联合概率、边缘概率、条件概率、全概率联合概率联合概率是指两个事件同时发生的概率，即抽到的牌既是红桃又是 K 的概率。在扑克牌中，既是红桃又是 K 的牌只有 1 张，即红桃 K。所以事件 A 和事件 B 的联合概率 P ( A ∩ B ) P(A \cap B) P(A∩B)为： P ( A ∩ B ) = 1 54 P(A \cap B)=\frac{1}{54} P(A∩B)=541

人工智能直通车系列06【Python 基础与数学基础】（属性与方法概率论：概率基本概念）目录概率的基本概念概率的基本性质概率的计算方法场景示例

CS创新实验室

《机器学习数学基础》补充资料：连续正态分布随机变量的熵《机器学习数学基础》第 416 页给出了连续型随机变量的熵的定义，并且在第 417 页以正态分布为例，给出了符合 N ( 0 , σ 2 ) N(0,\sigma^2) N(0,σ2) 的随机变量的熵。

CS创新实验室

《机器学习数学基础》补充资料：矩阵运算技巧和矩阵指数在《机器学习数学基础》第 2 章的 2.1.3 节、2.1.4 节和 2.1.5 节分别介绍了矩阵的加（减）法、数量乘法和矩阵乘法，这些构成了矩阵的基本运算，并且列出了矩阵的所有运算性质。在手工计算或者原理证明中，这些计算性质会经常用到。

阿正的梦工坊

Cramér-Rao界：参数估计精度的“理论底线”在统计学中，当我们用数据估计一个模型的参数时，总希望估计结果尽可能精确。但精度有没有一个理论上的“底线”呢？答案是有的，这就是Cramér-Rao界（Cramér-Rao Lower Bound, CRLB）。它通过Fisher信息矩阵的正定性，给出了无偏估计协方差的最低下限。简单来说，它告诉我们：再怎么努力，你的估计精度也超不过这个界限。今天我们就来聊聊Cramér-Rao界的由来、意义和应用。