Gleichung von Bienaymé

Die Gleichung von Bienaymé, Bienaymé-Gleichung[1] oder Formel von Bienaymé[2] ist eine Gleichung aus der Stochastik. Sie erlaubt die Berechnung der Varianz einer Summe von Zufallsvariablen und besagt insbesondere, dass sie sich bei unkorrelierten (und demnach auch bei stochastisch unabhängigen Zufallsvariablen) additiv verhält. Die Varianz der Summe unkorrelierter Zufallsvariablen ist also die Summe der Varianzen der Zufallsvariablen.

Die Gleichung ist nach dem französischen Mathematiker Irénée-Jules Bienaymé (1796–1878) benannt, der sie 1853 zeigte.[3] Sie wird unter anderem zur Ermittlung des Fehlers von Monte-Carlo-Simulationen verwendet und ein wichtiges Hilfsmittel zur Umformung von Gleichungen in der Stochastik. So liefert sie beispielsweise in Kombination mit der Tschebyscheff-Ungleichung eine erste Version des schwachen Gesetzes der großen Zahlen.

Aussage

Gegeben seien quadratintegrierbare Zufallsvariablen ${\displaystyle X_{1},\ldots ,X_{n}}$, es gelte also ${\displaystyle \operatorname {E} (|X_{i}|^{2})<\infty }$ für ${\displaystyle i=1,\dots ,n}$. Des Weiteren sei ${\displaystyle \operatorname {Var} (X)}$ die Varianz der Zufallsvariable ${\displaystyle X}$ und ${\displaystyle \operatorname {Cov} (X,Y)}$ die Kovarianz von ${\displaystyle X}$ und ${\displaystyle Y}$.

Die Gleichung von Bienaymé wird in der Literatur nicht einheitlich formuliert. In ihrer allgemeineren Version besagt sie, dass

${\displaystyle \operatorname {Var} \left(\sum _{i=1}^{n}X_{i}\right)=\sum _{i=1}^{n}\operatorname {Var} (X_{i})+\sum _{i,j=1 \atop i\neq j}^{n}\operatorname {Cov} (X_{i},X_{j})=\sum _{i,j=1}^{n}\operatorname {Cov} (X_{i},X_{j})}$

gilt.[4]

Spezieller gilt: Sind die ${\displaystyle X_{n}}$ paarweise unkorreliert, also ${\displaystyle \operatorname {Cov} (X_{i},X_{j})=0}$ für alle ${\displaystyle i,j\in \{1,\dots ,n\}}$ mit ${\displaystyle i\neq j}$, so gilt

${\displaystyle \operatorname {Var} \left(\sum _{i=1}^{n}X_{i}\right)=\sum _{i=1}^{n}\operatorname {Var} (X_{i})}$.[5]

Insbesondere gilt dies dann auch für Summen stochastisch unabhängiger Zufallsvariablen, denn aus Unabhängigkeit und Integrierbarkeit folgt die Unkorreliertheit der Zufallsvariablen.[6]

Beispiele

Würfel

Sind beispielsweise ${\displaystyle X}$ die Augenzahl eines vierseitigen, ${\displaystyle Y}$ die Augenzahl eines sechsseitigen und ${\displaystyle Z}$ die Augenzahl eines achtseitigen fairen Würfels. Die Wahrscheinlichkeitsverteilungen der drei Würfel sind diskrete Gleichverteilungen, wodurch sich für die Varianzen der Augenzahlen der einzelnen Würfel

${\displaystyle \operatorname {Var} (X)={\tfrac {5}{4}},\operatorname {Var} (Y)={\tfrac {35}{12}}}$   und   ${\displaystyle \operatorname {Var} (Z)={\tfrac {21}{4}}}$

ergibt. Nach der Gleichung von Bienaymé beträgt die Varianz der Augensumme ${\displaystyle X+Y+Z}$ der drei Würfel

${\displaystyle \operatorname {Var} (X+Y+Z)=\operatorname {Var} (X)+\operatorname {Var} (Y)+\operatorname {Var} (Z)={\tfrac {5}{4}}+{\tfrac {35}{12}}+{\tfrac {21}{4}}={\tfrac {113}{12}}\approx 9{,}42}$ (da die Würfel unkorreliert sind).

Somit ergibt sich als Standardabweichung der Augensumme ein Wert von etwa ${\displaystyle 3{,}07}$.

Wienerprozess

Zwei Beispiele für Pfade eines Standard-Wienerprozesses. Die grau schraffierte Fläche markiert die Standardabweichung ${\displaystyle \pm {\sqrt {{\text{Var}}(W_{t})}}=\pm {\sqrt {t}}}$.

Betrachtet man den Wienerprozess, so ist dieser durch das stochastische Integral ${\displaystyle W_{t}=W_{0}+\int _{0}^{t}dW}$ gegeben. Die Gaußsche Irrfahrt kann (nach dem Satz von Donsker) benutzt werden um den Wienerprozess zu approximieren:

${\displaystyle W_{N\Delta t}\approx W_{0}+{\sqrt {\Delta t}}\sum _{i=1}^{N}Z_{i}}$,

wobei ${\displaystyle Z_{1},\;Z_{2},\;Z_{3}\ldots }$ unabhängige, standardnormalverteilte Zufallszahlen sind. Hierbei wird das Integral diskretisiert und ${\displaystyle dW\approx {\sqrt {\Delta t}}Z}$ benutzt.

Die Gleichung von Bienayme liefert für ${\displaystyle Var(W_{N\Delta t})=\Delta tN}$.

Geschätzte Varianz der kumulativen Summe eines Zufallsprozesses, dessen Zufallsvariablen iid normalverteilt sind. Die Stichprobenvarianz ist über 300 Realisierungen berechnet.

Beweis

Die quadratische Integrierbarkeit stellt zunächst sicher, dass alle auftretenden Erwartungswerte und Varianzen endlich sind. Aufgrund der Linearität des Erwartungswertes ist

${\displaystyle \operatorname {E} \left(\sum _{i=1}^{n}X_{i}\right)=\sum _{i=1}^{n}\operatorname {E} (X_{i})}$.

Somit folgt

${\displaystyle \sum _{i=1}^{n}X_{i}-\operatorname {E} \left(\sum _{i=1}^{n}X_{i}\right)=\sum _{i=1}^{n}\left(X_{i}-\operatorname {E} (X_{i})\right)}$

Nach Definition der Varianz als ${\displaystyle \operatorname {Var} (X)=\operatorname {E} \left(\left(X-\operatorname {E} (X)\right)^{2}\right)}$ folgt durch ausmultiplizieren

${\displaystyle \operatorname {E} \left(\left(\sum _{i=1}^{n}\left(X_{i}-\operatorname {E} (X_{i})\right)\right)^{2}\right)=\sum _{i,j=1}^{n}\operatorname {E} \left((X_{i}-\operatorname {E} (X_{i}))(X_{j}-\operatorname {E} (X_{j}))\right)=\sum _{i,j=1}^{n}\operatorname {Cov} (X_{i},X_{j})}$,

wobei der letzte Schritt durch einsetzen der Definition der Kovarianz folgt. Da aber für ${\displaystyle i=j}$ folgt, dass ${\displaystyle \operatorname {Cov} (X_{i},X_{j})=\operatorname {Var} (X_{i})}$, werden diese Terme in eine separate Summe geschrieben und die Gleichung von Bienaymé folgt.

Die zweite Fassung folgt direkt aus der ersten, da aus Unkorreliertheit per Definition ${\displaystyle \operatorname {Cov} (X_{i},X_{j})=0}$ folgt und die eine Summe wegfällt.

Folgerungen

Eine wichtige Folgerung der Gleichung von Bienaymé besteht für Folgen unabhängig und identisch verteilter Zufallsvariablen ${\displaystyle X_{1},X_{2},\ldots }$, die alle die Varianz ${\displaystyle \sigma ^{2}}$ aufweisen. Die Varianz des arithmetischen Mittels ${\displaystyle {\overline {X}}_{n}}$ der ersten ${\displaystyle n}$ Folgenglieder

${\displaystyle \operatorname {Var} ({\overline {X}}_{n})=\operatorname {Var} \left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)={\frac {1}{n^{2}}}\sum _{i=1}^{n}\operatorname {Var} (X_{i})={\frac {\sigma ^{2}}{n}}}$

verhält sich demnach umgekehrt proportional zu ${\displaystyle n}$.[7] Zusammen mit der Tschebyscheff-Ungleichung ergibt sich daraus, dass die Folge dem schwachen Gesetz der großen Zahlen genügt, also dass die Mittelwerte stochastisch gegen den Erwartungswert konvergieren.

Der Standardfehler des arithmetischen Mittels

${\displaystyle \sigma ({\overline {X}}_{n})={\sqrt {\operatorname {Var} ({\overline {X}}_{n})}}={\frac {\sigma }{\sqrt {n}}}}$

zeigt, dass das arithmetische Mittel als erwartungstreuer Schätzer für einen unbekannten Erwartungswert eine Rate von ${\displaystyle {\tfrac {1}{\sqrt {n}}}}$ aufweist. Aus diesem Grund besitzt der Fehler von klassischen Monte-Carlo-Simulationen eine Konvergenzgeschwindigkeit von ${\displaystyle {\tfrac {1}{2}}}$.[7]

Im Zusammenhang mit zufälligen Messabweichungen ergibt sich aus der Gleichung von Bienaymé im Fall unkorrelierter fehlerbehafteter Größen das gaußsche Fehlerfortpflanzungsgesetz.

Verallgemeinerung

Die Gleichung von Bienaymé kann auch auf gewichtete Summen von Zufallsvariablen verallgemeinert werden. Sind dazu ${\displaystyle a_{1},\ldots ,a_{n}}$ reelle Gewichtsfaktoren, dann gilt für die Varianz der gewichteten Summe ${\displaystyle a_{1}X_{1}+\cdots +a_{n}X_{n}}$ der Zufallszahlen ${\displaystyle X_{1},\ldots ,X_{n}}$ die Darstellung

${\displaystyle \operatorname {Var} \left(\sum _{i=1}^{n}a_{i}X_{i}\right)=\sum _{i=1}^{n}\sum _{j=1}^{n}a_{i}a_{j}\operatorname {Cov} (X_{i},X_{j})=\mathbf {a} ^{T}{\boldsymbol {\Sigma }}\mathbf {a} }$

mit dem transponierten Vektor ${\displaystyle \mathbf {a} ^{T}=(a_{1},\dots ,a_{n})}$ und der Kovarianzmatrix ${\displaystyle {\boldsymbol {\Sigma }}}$ des Zufallsvektors ${\displaystyle (X_{1},\dots ,X_{n})^{T}}$. Für paarweise unkorrelierte Zufallsvariablen spezialisiert sich diese Gleichung zu

${\displaystyle \operatorname {Var} \left(\sum _{i=1}^{n}a_{i}X_{i}\right)=\sum _{i=1}^{n}a_{i}^{2}\operatorname {Var} (X_{i})}$.

Für die Summe von zwei Zufallsvariablen ${\displaystyle X}$ und ${\displaystyle Y}$ ergibt sich daraus

${\displaystyle \operatorname {Var} \left(X+Y\right)=\operatorname {Var} (X)+2\operatorname {Cov} (X,Y)+\operatorname {Var} (Y)}$

und für die Differenz

${\displaystyle \operatorname {Var} \left(X-Y\right)=\operatorname {Var} (X)-2\operatorname {Cov} (X,Y)+\operatorname {Var} (Y)\;.}$

Für zwei unkorrelierte Zufallsvariablen ${\displaystyle X}$ und ${\displaystyle Y}$ ist definitionsgemäß ${\displaystyle \operatorname {Cov} (X,Y)=0}$. Damit ergibt sich, dass für zwei unkorrelierte Zufallsvariablen die Summe ebenso wie die Differenz gleich der Summe ihrer Varianzen ist, das heißt, es gilt in diesem Fall

${\displaystyle \operatorname {Var} \left(X+Y\right)=\operatorname {Var} \left(X-Y\right)=\operatorname {Var} (X)+\operatorname {Var} (Y)}$.

Falls die Zahl der Summanden selbst eine Zufallsvariablen ist, siehe Blackwell-Girshick-Gleichung.

Siehe auch

• Panjer-Rekursion

Literatur

• Thomas Müller-Gronbach, Erich Novak, Klaus Ritter: Monte Carlo-Algorithmen. Springer, 2012, ISBN 978-3-540-89140-6. 
• Achim Klenke: Wahrscheinlichkeitstheorie. 3. Auflage. Springer-Verlag, Berlin Heidelberg 2013, ISBN 978-3-642-36017-6, doi:10.1007/978-3-642-36018-3. 
• David Meintrup, Stefan Schäffler: Stochastik. Theorie und Anwendungen. Springer-Verlag, Berlin Heidelberg New York 2005, ISBN 978-3-540-21676-6, doi:10.1007/b137972. 
• Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, doi:10.1515/9783110215274. 

Einzelnachweise

1. Klenke: Wahrscheinlichkeitstheorie. 2013, S. 106.
2. Meintrup, Schäffler: Stochastik. 2005, S. 129.
3. Georgii: Stochastik. 2009, S. 109.
4. Klenke: Wahrscheinlichkeitstheorie. 2013, S. 106.
5. Meintrup, Schäffler: Stochastik. 2005, S. 129.
6. Müller-Gronbach, Novak, Ritter: Monte Carlo-Algorithmen. S. 7. 
7. Müller-Gronbach, Novak, Ritter: Monte Carlo-Algorithmen. S. 29.