Verschiebungssatz (Statistik)

Der Verschiebungssatz (auch Satz von Steiner oder Steinerscher Verschiebungssatz genannt) beschreibt, wie sich die Eigenschaften einer Variablen oder Zufallsvariablen ändern, wenn zu dieser Variable eine Konstante addiert wird. Er besagt, dass sich durch Addition einer Konstante zu einer Variablen oder Zufallsvariablen bestimmte Charakteristika der Verteilung dieser Variable auf vorhersagbare Weise ändern.

Wird zu einer Zufallsvariablen ${\displaystyle X}$ eine Konstante ${\displaystyle c}$ addiert und diese modifizierte Variable als ${\displaystyle Y}$ bezeichnet, dann ändern sich bestimmte Momente von ${\displaystyle Y}$ auf vorhersagbare Weise. Die Momente von ${\displaystyle Y}$ können durch eine einfache Formel berechnet werden, die die Momente von ${\displaystyle X}$ und die hinzugefügte Konstante ${\displaystyle c}$ berücksichtigt.

Der Verschiebungssatz ermöglicht es die Effekte von konstanten Verschiebungen auf die Verteilung von Variablen oder Zufallsvariablen zu verstehen. Diese Erkenntnis hat viele Anwendungen in der Statistik und Wahrscheinlichkeitstheorie, zum Beispiel bei der Berechnung von durchschnittlichen Werten und Varianzen von veränderten Variablen oder Zufallsvariablen.

Verschiebungssatz

Der Verschiebungssatz für Zufallsvariablen ${\displaystyle Y=X+c}$ besagt:

${\displaystyle E(Y^{k})=E((X+c)^{k})=\sum _{j=0}^{k}{\binom {k}{j}}c^{k-j}E(X^{j})}$

Dabei ist ${\displaystyle E(Y^{k})}$, das ${\displaystyle k}$te Moment der Zufallsvariablen ${\displaystyle Y}$, ${\displaystyle E(X^{j})}$, das ${\displaystyle j}$te Moment der Zufallsvariablen ${\displaystyle X}$. ${\displaystyle {\tbinom {k}{j}}}$ ist der Binomialkoeffizient ${\displaystyle k}$ über ${\displaystyle j}$.

Insbesondere für den Fall ${\displaystyle k=2}$ gilt

${\displaystyle E(Y^{2})=c^{2}+2cE(X)+E(X^{2})}$.

Für die Varianz einer Zufallsvariablen ${\displaystyle X}$ gilt mit ${\displaystyle Y=X-E(X)}$, d. h. ${\displaystyle c=-E(X)}$:

${\displaystyle {\begin{aligned}Var(X)&{\stackrel {def}{=}}E((X-E(X))^{2})=E(Y^{2})\\E(Y^{2})&=E^{2}(X)-2E(X)E(X)+E(X^{2})=E(X^{2})-E^{2}(X)\end{aligned}}}$.

Empirische Variante

Für die empirische Version des Verschiebungssatz für ${\displaystyle n}$ Beobachtungswerten mit ${\displaystyle y_{i}=x_{i}+c}$ müssen die theoretischen durch die empirischen Momente ersetzt werden, also ${\displaystyle M_{Y}^{k}={\tfrac {1}{n}}(y_{1}^{k}+\ldots +y_{n}^{k})}$ bzw. ${\displaystyle M_{X}^{j}={\tfrac {1}{n}}(x_{1}^{j}+\ldots +x_{n}^{j})}$ und dann gilt:

${\displaystyle M_{Y}^{k}=\sum _{j=0}^{k}{\binom {k}{j}}c^{k-j}M_{X}^{j}}$

Analog zu den Zufallsvariablen kann man für ${\displaystyle k=2}$ ableiten mit ${\displaystyle c=-{\bar {x}}}$:

${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}=\left({\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{2}\right)-\left({\frac {1}{n}}\sum _{i=1}^{n}x_{i}\right)^{2}}$.

Beispiel mit n Beobachtungswerten

Der Verschiebungssatz wird zunächst am einfachsten Fall vorgeführt: Es seien beispielsweise die Werte ${\displaystyle x_{1},x_{2},\ldots ,x_{n}}$ aus einer Stichprobe gegeben. Es wird die Summe der Abweichungsquadrate dieser Werte gebildet:

${\displaystyle SQ_{x}=\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\ ,}$

wobei

${\displaystyle {\overline {x}}:={\frac {1}{n}}(x_{1}+x_{2}+\ldots +x_{n})={\frac {1}{n}}\sum _{i=1}^{n}{x_{i}}}$

das arithmetische Mittel der Zahlen ist. Der Verschiebungssatz ergibt sich aus[1]

${\displaystyle SQ_{x}=\sum _{i=1}^{n}(x_{i}^{2}-2x_{i}{\overline {x}}+{\overline {x}}^{2})=\left(\sum _{i=1}^{n}x_{i}^{2}\right)-2{\overline {x}}\left(\sum _{i=1}^{n}x_{i}\right)+n{\overline {x}}^{2}}$

${\displaystyle \quad =\left(\sum _{i=1}^{n}x_{i}^{2}\right)-2{\overline {x}}\cdot n{\overline {x}}+n{\overline {x}}^{2}=\left(\sum _{i=1}^{n}x_{i}^{2}\right)-n{\overline {x}}^{2}}$.

Rechenbeispiel

Im Rahmen der Qualitätssicherung werden fortlaufend Kaffeepakete gewogen. Für die ersten vier Pakete erhielt man die Werte (in g) ${\displaystyle x_{i}}$

${\displaystyle 505,500,495,505}$

Das durchschnittliche Gewicht beträgt

${\displaystyle {\overline {x}}={\frac {505+500+495+505}{4}}=501{,}25}$

Es ist

${\displaystyle {\begin{aligned}SQ_{x}&=(505-501{,}25)^{2}+(500-501{,}25)^{2}+(495-501{,}25)^{2}+(505-501{,}25)^{2}\\&=14{,}0625+1{,}5625+39{,}0625+14{,}0625\\&=68{,}75\,.\end{aligned}}}$

Für die Anwendung des Verschiebungssatzes berechnet man

${\displaystyle q_{1}=\sum _{i=1}^{n}x_{i}=505+500+495+505=2.005}$

und

${\displaystyle q_{2}=\sum _{i=1}^{n}x_{i}^{2}=255.025+250.000+245.025+255.025=1.005.075}$

${\displaystyle SQ_{x}=q_{2}-{\frac {1}{4}}q_{1}^{2}=68{,}75}$

Damit kann beispielsweise die (korrigierte) empirische Varianz als „durchschnittliches“ Abweichungsquadrat bestimmt werden:

${\displaystyle s^{2}={\frac {1}{n-1}}SQ_{x}\,,}$

im Beispiel

${\displaystyle s^{2}={\frac {1}{4-1}}68{,}75\approx 22{,}9\,.}$

Wird die Stichprobe um ein weiteres Paket erweitert, so reicht es zur Neuberechnung der Stichprobenvariation mit Hilfe des Verschiebungssatzes, lediglich die Werte für ${\displaystyle q_{1}}$ und ${\displaystyle q_{2}}$ neu zu berechnen. Beim fünften Paket werde das Gewicht 510 g gemessen. Dann gilt:

${\displaystyle q_{1}^{\text{neu}}=q_{1}+510=2.005+510=2.515\,,}$

${\displaystyle q_{2}^{\text{neu}}=q_{2}+510^{2}=1.005.075+260.100=1.265.175\,,}$ sowie

${\displaystyle SQ^{\text{neu}}=q_{2}^{\text{neu}}-{\frac {1}{5}}\left(q_{1}^{\text{neu}}\right)^{2}=130\,.}$

Die Stichprobenvarianz der neuen, größeren Stichprobe ist dann

${\displaystyle s_{\text{neu}}^{2}={\frac {1}{5-1}}SQ^{\text{neu}}=130/4=32{,}5\,.}$

Anwendungen

Summe der quadratischen Abweichungen

Für die Summe der quadratischen Abweichungen von ${\displaystyle n}$ Beobachtungswerten ${\displaystyle x_{1},\dotsc ,x_{n}}$ und deren arithmetisches Mittel ${\displaystyle {\overline {x}}}$ gilt:

${\displaystyle SQ_{x}=\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}=\left(\sum _{i=1}^{n}x_{i}^{2}\right)-n{\overline {x}}^{2}=\left(\sum _{i=1}^{n}x_{i}^{2}\right)-{\frac {1}{n}}\left(\sum _{i=1}^{n}x_{i}\right)^{2}}$.

Damit kann man ${\displaystyle SQ_{x}}$ berechnen, ohne das Mittel ${\displaystyle {\overline {x}}}$ bereits vorab zu kennen und ohne alle Stichprobenwerte speichern zu müssen.

Bei der Berechnung mit Gleitkommazahlen kann es jedoch zu einer numerischen Auslöschung kommen, wenn ${\displaystyle {\overline {x}}^{2}}$ erheblich größer ist als die Varianz, die Daten also nicht zentriert sind.[2] Daher bietet sich die Verwendung dieser Formel primär für analytische Betrachtungen an, nicht für die Verwendung mit realen Daten. Eine mögliche Abhilfe[3] ist, vorab eine Näherung ${\displaystyle {\tilde {x}}\approx {\overline {x}}}$ für das Mittel zu bestimmen und damit zu berechnen:

${\displaystyle SQ_{x}=\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}=\sum _{i=1}^{n}(x_{i}-{\tilde {x}})^{2}-{\frac {1}{n}}\left(\sum _{i=1}^{n}(x_{i}-{\tilde {x}})\right)^{2}}$.

Falls die Näherung ${\displaystyle {\tilde {x}}}$ nahe genug an dem echten Mittel ${\displaystyle {\overline {x}}}$ liegt, ist die Genauigkeit mit dieser Formel gut. Weitere numerisch stabilere Berechnungsmethoden finden sich in der Literatur.[3][2]

Stichprobenkovarianz

Die Summe der Abweichungsprodukte zweier Merkmale ${\displaystyle x}$ und ${\displaystyle y}$ ist gegeben durch

${\displaystyle SP_{xy}:=\sum _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})\ .}$

Hier ergibt der Verschiebungssatz

${\displaystyle SP_{xy}=\sum _{i=1}^{n}(x_{i}y_{i})-n{\overline {x}}{\overline {y}}\ .}$

Die korrigierte Stichprobenkovarianz berechnet sich dann als „durchschnittliches“ Abweichungsprodukt

${\displaystyle s_{xy}={\frac {1}{n-1}}SP_{xy}\ .}$

Zufallsvariable

Varianz

Die Varianz einer Zufallsvariablen

${\displaystyle \operatorname {Var} (X)=\operatorname {E} ((X-\operatorname {E} (X))^{2})}$

lässt sich mit dem Verschiebungssatz auch angeben als[4]

${\displaystyle \operatorname {Var} (X)=\operatorname {E} (X^{2})-(\operatorname {E} (X))^{2}\ .}$

Dieses Resultat wird auch als Satz von König-Huygens bezeichnet. Es ergibt sich aus der Linearität des Erwartungswertes:

${\displaystyle {\begin{aligned}\operatorname {E} {\bigl (}(X-\operatorname {E} (X))^{2}{\bigr )}&=\operatorname {E} {\bigl (}X^{2}-2X\operatorname {E} (X)+\operatorname {E} (X)^{2}{\bigr )}\\&=\operatorname {E} (X^{2})-\operatorname {E} {\bigl (}2X\operatorname {E} (X){\bigr )}+\operatorname {E} {\bigl (}\operatorname {E} (X)^{2}{\bigr )}\\&=\operatorname {E} (X^{2})-2\operatorname {E} (X)\operatorname {E} (X)+\operatorname {E} (X)^{2}\\&=\operatorname {E} (X^{2})-\operatorname {E} (X)^{2}.\end{aligned}}}$

Eine allgemeinere Darstellung des Verschiebungssatzes ergibt sich aus:

${\displaystyle \operatorname {Var} (X)=\operatorname {E} \left((X-c)^{2}\right)-\left(\operatorname {E} (X)-c\right)^{2},\quad c\in \mathbb {R} }$.

• Man erhält bei einer diskreten Zufallsvariablen ${\displaystyle X}$ mit den Ausprägungen ${\displaystyle x_{i},\,i=1,\dots ,n}$ und der dazugehörigen Wahrscheinlichkeit ${\displaystyle \operatorname {P} (X=x_{j})=p_{j}}$ dann für

${\displaystyle \operatorname {Var} (X)=\operatorname {E} ((X-\operatorname {E} (X))^{2})=\sum _{j}p_{j}\left(x_{j}-\sum _{i}p_{i}x_{i}\right)^{2}=\sum _{i}p_{i}x_{i}^{2}-\left(\sum _{i}p_{i}x_{i}\right)^{2}\ .}$

Mit der speziellen Wahl ${\displaystyle p_{i}={\frac {1}{n}}}$ ergibt sich ${\displaystyle \operatorname {E} (X)={\overline {x}}={\frac {1}{n}}\sum _{i}x_{i}}$ und die obige Formel

${\displaystyle {\frac {1}{n}}\sum _{i}\left(x_{i}-{\overline {x}}\right)^{2}={\frac {1}{n}}\sum _{i}x_{i}^{2}-{\overline {x}}^{2}.}$

• Für eine stetige Zufallsvariable ${\displaystyle X}$ und der dazugehörigen Dichtefunktion ${\displaystyle f}$ ist

${\displaystyle \operatorname {Var} (X)=\operatorname {E} ((X-\operatorname {E} (X))^{2})=\int _{-\infty }^{\infty }(x-\operatorname {E} (X))^{2}\,f(x)\,\mathrm {d} x\ .}$

Man erhält hier mit dem Verschiebungssatz

${\displaystyle \operatorname {Var} (X)=\operatorname {E} ((X-\operatorname {E} (X))^{2})=\int _{-\infty }^{\infty }x^{2}f(x)\,\mathrm {d} x-\operatorname {E} (X)^{2}\ .}$

Kovarianz

Die Kovarianz zweier Zufallsvariablen ${\displaystyle X}$ und ${\displaystyle Y}$

${\displaystyle \operatorname {Cov} (X,Y)=\operatorname {E} ((X-\operatorname {E} (X))\cdot (Y-\operatorname {E} (Y)))}$

lässt sich mit dem Verschiebungssatz als

${\displaystyle \operatorname {Cov} (X,Y)=\operatorname {E} (XY)-\operatorname {E} (X)\operatorname {E} (Y)}$

angeben.

Für diskrete Zufallsvariablen erhält man für

${\displaystyle \operatorname {Cov} (X,Y)=\sum _{j}\sum _{k}(x_{j}-\operatorname {E} (X))(y_{k}-\operatorname {E} (Y))\cdot f(x_{j},y_{k})}$

entsprechend zu oben

${\displaystyle \operatorname {Cov} (X,Y)=\sum _{j}\sum _{k}x_{j}\,y_{k}\,f(x_{j},y_{k})-\operatorname {E} (X)\cdot \operatorname {E} (Y)\ ,}$

mit ${\displaystyle f(x_{j},y_{k})}$ als gemeinsamer Wahrscheinlichkeit, dass ${\displaystyle X=x_{j}}$ und ${\displaystyle Y=y_{k}}$ ist.

Bei stetigen Zufallsvariablen ergibt sich mit ${\displaystyle f(x,y)}$ als gemeinsamer Dichtefunktion von ${\displaystyle X}$ und ${\displaystyle Y}$ an der Stelle ${\displaystyle x}$ und ${\displaystyle y}$ für die Kovarianz

${\displaystyle \operatorname {Cov} (X,Y)=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }(x-\operatorname {E} (X))(y-\operatorname {E} (Y))\cdot f(x,y)\,\mathrm {d} y\,\mathrm {d} x}$

entsprechend zu oben

${\displaystyle \operatorname {Cov} (X,Y)=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }xy\,f(x,y)\,\mathrm {d} y\,\mathrm {d} x-\operatorname {E} (X)\cdot \operatorname {E} (Y)\,}$

Geschichte

Die Herkunft der Bezeichnung Satz von Steiner für den Verschiebungssatz ist unklar. Eine direkte Verbindung des Verschiebungssatzes zu dem Werk des Mathematikers Jacob Steiner besteht nicht.

Einzelnachweise

1. Hans-Friedrich Eckey, Reinhold Kosfeld, Christian Dreger: Statistik: Grundlagen — Methoden — Beispiele, S. 86
2. Erich Schubert, Michael Gertz: Numerically stable parallel computation of (co-)variance. In: Proceedings of the 30th International Conference on Scientific and Statistical Database Management - SSDBM '18. ACM Press, Bozen-Bolzano, Italy 2018, ISBN 978-1-4503-6505-5, S. 1–12, doi:10.1145/3221269.3223036 (acm.org [abgerufen am 7. Dezember 2019]). 
3. Tony F. Chan, Gene H. Golub, Randall J. LeVeque: Algorithms for computing the sample variance: analysis and recommendations. In: The American Statistician Vol. 37, No. 3 (Aug., 1983), S. 242–247
4. Ansgar Steland: Basiswissen Statistik, S. 116