自助法
在统计学中,自助法(Bootstrap Method,Bootstrapping,或自助抽樣法、拔靴法)是一种从给定训练集中有放回的均匀抽样,也就是说,每当选中一个样本,它等可能地被再次选中并被再次添加到训练集中。自助法由Bradley Efron于1979年在《Annals of Statistics》上發表。當樣本來自能以正态分布來描述的总体,其抽樣分布為正态分布;但當樣本來自的总體無法以正态分布來描述,則以漸進分析法、自助法等來分析。採用隨機可置換抽樣(random sampling with replacement)。对于小数据集,自助法效果很好。
.632自助法
最常用的一种是.632自助法,假设给定的数据集包含d个样本。该数据集有放回地抽样d次,产生d个样本的训练集。这样原数据样本中的某些样本很可能在该样本集中出现多次。没有进入该训练集的样本最终形成检验集(测试集)。 显然每个样本被选中的概率是1/d,因此未被选中的概率就是(1-1/d),这样一个样本在训练集中没出现的概率就是d次都未被选中的概率,即(1-1/d)d。当d趋于无穷大时,这一概率就将趋近于e-1=0.368,所以留在训练集中的样本大概就占原来数据集的63.2%。
参见
参考文献
- 范明/孟小峰. 数据挖掘:概念与技术. 机械工业出版社. 2012年8月: 241. ISBN 978-7-111-39140-1 (中文).