构建AI智能体：六十九、Bootstrap采样在大模型评估中的应用：从置信区间到模型稳定性在我们选择使用一个模型时，我们经常需要评估模型的性能。通常，我们会将数据集分为训练集和测试集，用测试集来评估模型的泛化能力。然而，单次划分的测试集可能不能完全代表模型在未知数据上的表现，特别是当数据集较小的时候。Bootstrap采样是一种强大的统计方法，可以通过重采样来估计统计量的分布，从而更稳健地评估模型性能，其基本思想是通过从原始数据集中随机抽取n个样本（允许重复抽取）形成一个新的数据集，称为Bootstrap样本，然后，我们可以基于这些Bootstrap样本计算统计量（如均值、标准差等）的分布。