Content

自适应数据分析指研究者的每一步分析决策都基于之前在同一数据集上的查询结果。Dwork 等指出，同一个留出集被反复、自适应地使用，也会对它本身过拟合，验证结论随之失效^[1]；他们进一步给出基于差分隐私的「可复用留出集」机制，让留出集在加噪后能被多次查询而保持统计有效性^[2]。迁移到评测实践：换题复测用过的题要轮换；公开 leaderboard 的反复刷榜是同一问题的放大版。

Acceptance

“Reusing a holdout set adaptively multiple times can easily lead to overfitting to the holdout set itself.”^[1]

Question

• 公开 leaderboard 被整个社区反复刷，算不算一次集体自适应过拟合？
• 轮换留出集能完全避免自适应过拟合吗？
• 人反复看同一批失败样本改规则，和模型的自适应查询有本质区别吗？

See Also

项目区分度

Answer

公开 leaderboard 被整个社区反复刷，算不算一次集体自适应过拟合？

算，而且是教科书情形：每个团队的提交决策都基于此前所有人公开的成绩，等价于对同一留出集的海量自适应查询。这类榜单的「最优分」会系统性高估真实水平，Dwork 等针对的正是这个场景^[1][2]。

轮换留出集能完全避免自适应过拟合吗？

不能，只能减缓。轮换把单点过拟合摊到多个留出集上，但只要新留出集的选择参考了旧留出集的结果，自适应链条就还在；理论上彻底的解法是加噪机制（可复用留出集），工程上「轮换加纪律」是便宜的近似^[2]。

人反复看同一批失败样本改规则，和模型的自适应查询有本质区别吗？

统计上没有本质区别——人看失败样本改规则同样是自适应查询，Dwork 的框架不区分查询来自人还是算法^[1]。区别在于人的查询带宽低、噪声大，过拟合慢一些；「看失败样本改题面再复测」正是需要换题纪律的原因。

1. Cynthia Dwork 等，Generalization in Adaptive Data Analysis and Holdout Reuse，arXiv:1506.02629，NIPS 2015。 ↩ ↩² ↩³ ↩⁴
2. Cynthia Dwork 等，“The Reusable Holdout: Preserving Validity in Adaptive Data Analysis”，《Science》349 卷 6248 期，636–638 页，2015，DOI: 10.1126/science.aaa9375。 ↩ ↩² ↩³