在看报告时经常会碰到如下术语
holdout +5.4%/yr、长窗 skewness 五分组价差 +7.5%/+8.6%（两宇宙）
这里的holdout指：最终留出样本 / 样本外测试集。
1 holdout举例
在前面一段数据上发现、调参、选窗口、选分组、选中性化方式；
留出一段数据完全不碰，最后只跑一次；
在这段没参与开发的数据上，长窗skewness多空组合年化+5.4%。
所以holdout +5.4%/yr的含义是：样本外仍然有5.4%的年化收益，方向没崩。
2 关键点
1）必须是时间后置留出
比如前面 2010--2018 开发，2019--2024 做 holdout。
如果是随机留出，面板数据里同一股票相邻月份高度相关，容易泄露，结果会偏乐观。
2）不能反复看holdout调参
如果你看了holdout结果，再回去改窗口、改分组、改中性化，
那它就不再是 holdout，只是另一个 validation。
3）5.4% 本身不够
如果要说明问题，还需要关注：
holdout 多长？3 年还是 10 年？
年化波动多少？
t-stat 多少？
最大回撤、分年度胜率？
是否行业/市值中性？
是否扣费、扣借券？
换手多少？
简单估计粗算：
如果 holdout 波动10%、长度 5 年，t 约 1.2；长度 10 年，t 约 1.7。
所以 5.4% 年化可能还不够显著。
4）和全样本价差对比
长窗skewness五分组价差+7.5%/+8.6%，holdout只有+5.4%，衰减约30%--37%，这算正常范围。
但关键是五分组价差是在全样本还是 holdout？
如果holdout里五分组仍然单调、多空仍有5.4%，那因子质量还可以；
如果只是全样本好看，holdout 靠少数年份，那就要小心。
reference
Holdout实验：为什么巨头公司用它验证长期价值？
https://zhuanlan.zhihu.com/p/1938920713101764085
quantframe-des