Bootstrap (statistica)

Il bootstrap è una tecnica statistica di ricampionamento con reimmissione per approssimare la distribuzione campionaria di una statistica. Permette di approssimare media e varianza di uno stimatore, costruire intervalli di confidenza e calcolare p-value di test quando, in particolare, non si conosce la distribuzione della statistica di interesse.

Nel caso di campionamento casuale semplice, il funzionamento è il seguente: consideriamo un campione effettivamente osservato di numerosità $n$ , diciamo $\mathbf {x} =(x_{1},\ldots ,x_{n})$ . Da $\mathbf {x}$ si ricampionano $B$ altri campioni di numerosità costante $n$ , diciamo $\mathbf {x} _{1}^{*},\ldots ,\mathbf {x} _{B}^{*}$ . Se $F$ è la funzione di ripartizione del fenomeno aleatorio dal quale è stato campionato ${\textbf {x}}$ , allora la funzione di ripartizione empirica ${\hat {F}}$ è un'approssimazione di $F$ ; per cui un ricampionamento da essa approssima un ricampionamento dal modello originale. Per costruzione ${\hat {F}}$ è la funzione di ripartizione di una variabile aleatoria uniforme su ${\textbf {x}}$ , dunque di fatto ogni ricampionamento ${\textbf {x}}_{k}^{*}$ , con $k=1,\dots ,B$ , è ottenuto scegliendo in modo uniforme con ripetizione $n$ valori da ${\textbf {x}}$ .

Sia $T$ lo stimatore di $\theta$ che ci interessa studiare, diciamo $T(\mathbf {x} )={\hat {\theta }}$ . Si calcola tale quantità per ogni campione bootstrap, $T(\mathbf {x} _{1}^{*}),\ldots ,T(\mathbf {x} _{B}^{*})$ . In questo modo si hanno a disposizione $B$ stime di $\theta$ , dalle quali è possibile calcolare la media bootstrap, la varianza bootstrap, i percentili bootstrap, ecc. che sono approssimazioni dei corrispondenti valori ignoti e portano informazioni sulla distribuzione di $T(\mathbf {x} )$ .

Algoritmo bootstrap (per campione semplice)

Dato il campione ${\textbf {x}}=(x_{1},\ldots ,x_{n})$ :

Si simulano $B$ campioni ${\textbf {x}}_{1}^{*},\ldots ,{\textbf {x}}_{B}^{*}$ , di numerosità $n$ da ${\hat {F}}$ .
Si calcolano le $B$ replicazioni corrispondenti ai campioni simulati: ${\hat {\theta }}({\textbf {x}}_{1}^{*}),\ldots ,{\hat {\theta }}({\textbf {x}}_{B}^{*})$ , dove ${\hat {\theta }}({\textbf {x}}_{k}^{*})=T({\textbf {x}}_{k}^{*}).$
Si stima la varianza campionaria come:

{\text{Var}}_{B}({\hat {\theta }})={\frac {1}{B-1}}\sum _{k=1}^{B}\left({\hat {\theta }}({\textbf {x}}_{k}^{*})-\theta ^{*}\right)^{2},\quad {\text{dove }}\theta ^{*}={\frac {1}{B}}\sum _{k=1}^{B}{\hat {\theta }}({\textbf {x}}_{k}^{*}).

Si stima la distorsione come:

\beta =\theta ^{*}-\theta ={\frac {1}{B}}\sum _{k=1}^{B}{\hat {\theta }}({\textbf {x}}_{k}^{*})-\theta .

Partendo quindi da queste quantità stimate è possibile, anche lavorando in ambito non parametrico, calcolare intervalli di confidenza, saggiare ipotesi, ecc.

Bibliografia

Efron,Bradley e Tibshirani, Robert, An Introduction to the Bootstrap, New York, Chapman & Hall, 1994, ISBN 9781489945419
Yen-Chi Chen, Lecture on Bootstrap