数理统计（mathematical statistics）根据观察或实验得到的数据来研究随机现象，并对研究对象的客观规律做出合理的估计和判断。在人工智能的研究中，数理统计用于对机器学习的算法和数据挖掘的结果做出解释，只有做出合理的解读，数据的价值才能够体现。
虽然数理统计以概率论为理论基础，但两者之间存在方法上的本质区别。概率论作用的前提是随机变量的分布已知，根据已知的分布来分析随机变量的特征与规律；数理统计的研究对象则是未知分布的随机变量，研究方法是对随机变量进行独立重复的观察，根据得到的观察结果对原始分布做出推断。可以简单的理解为：数理统计可以看成是逆向的概率论。
总体和样本
在数理统计中，可用的资源是有限的数据集合，这个有限数据集被称为样本（sample） 。相应地，观察对象所有的可能取值被称为总体（population）。数理统计的任务就是根据样本推断总体的数字特征。样本通常由对总体进行多次独立的重复观测而得到，这保证了不同的样本值之间相互独立，并且都与总体具有相同的分布。
统计量
数理统计的基本任务之一是利用样本所提供的信息来对总体分布中未知的量进行推断，简单来说，就是由样本推断总体．但是，样本常常表现为一组数据，很难直接用来解决我们所要研究的具体问题．人们常常把数据加工成若干个简单明了的数字特征，由数据加工后的数字特征就是统计量．所以说统计量综合了样本的信息，是统计推断的基础．统计量的选择和运用在统计推断中占据核心地位．
其中最重要的两个统计量是样本均值和样本方差，如下图所示：
三大分布
χ2分布、t分布、F分布都是从正态总体中衍生出来的。其中满足χ2分布记为Yχ2（n）；满足t分布，记为Tt（n）；满足F分布，记为F~F（m，n）。
χ2分布
t分布
F分布
统计推断
统计推断的基本问题可以分为两大类：参数估计（estimation theory）和假设检验（hypothesis test） 。其中参数估计 ，顾名思义就是找参数是多少？比如假定总体X服从正态分布，那么参数估计 就是判断刻画正态分布的均值μ和方差σ2究竟取什么值。而假设检验则主要是看参数的值是否等于某个特定的值。
参数估计
参数估计的形式有两种：点估计和区间估计．
点估计
在已知总体分布函数形式，但未知其一个或者多个参数时，借助于总体的一个样本来估计未知参数的取值就是参数的点估计。点估计的具体方法包括矩估计法（method of moments）和最大似然估计法（maximum likelihood estimation）。
矩估计法
矩估计的基本思想是用样本的k阶矩作为总体的k阶矩的估计量，从而解出未知参数。
最大似然估计法
极大似然估计法先代入参数值计算观测样本发生的概率，得到似然函数，然后对似然函数求极大值，得到对应的参数，即为极大似然估计参数。
具体见 一文读懂矩估计、极大似然估计和贝叶斯估计-腾讯云开发者社区-腾讯云
估计量评选标准
对于同一个参数，用不同的估计方法求出的估计量可能是不同的，那么这时候就有一个疑问，采用哪个估计量会更好些呢？评判一个估计量的好坏不能一概而论，即一个估计量的优劣不是绝对的，而是基于某一评判标准而言相对的评价结论．在下文中介绍三种常用的评判标准：无偏性、有效性和相合性．
- 无偏性：估计量的数学期望等于未知参数的真实值；
- 有效性：无偏估计量的方差尽可能小；
- 相合性：当样本容量趋近于无穷时，估计量依概率收敛于未知参数的真实值
置信区间和区间估计
对估计量的判别标准涉及了估计误差的影响，这是和估计值同样重要的参量。在估计未知参数θ 的过程中，除了求出估计量，还需要估计出一个区间，并且确定这个区间包含 θ 真实值的可信程度。在数理统计中，这个区间被称为置信区间 （confidence interval），这种估计方式则被称为区间估计。
假设检验
参数估计的对象是总体的某个参数，假设检验的对象则是关于总体的某个论断，即关于总体的假设。假设检验的作用就在于根据学习器在测试集上的性能推断其泛化能力的强弱，并确定所得结论的精确程度，可以进一步推广为比较不同学习器的性能。