確率分布の期待値や分散に関する諸公式をしょっちゅう忘れるので，記憶に定着させるために諸公式を導出してみたメモ．以下の式は，確率変数\(X\)と\(Y\)がどんな確率分布に従っているかに依らず導き出される性質である．
期待値（平均）と分散
確率変数\(X\)の確率密度関数は\(f(x)\)とする．
$$ E(X) = \int_{-\infty}^{\infty} x f(x) dx $$
\begin{align}
V(X) &= \int_{-\infty}^{\infty} (x – \mu)^2 f(x) dx \\
&= \int_{-\infty}^{\infty} x^2 f(x) dx -2 \int_{-\infty}^{\infty} \mu_x x f(x) dx + \mu^2 \int_{-\infty}^{\infty} f(x) dx \\
&= E(X^2) -2 (E(X))^2 + (E(X))^2 \\
&= E(X^2) – (E(X))^2
\end{align}
諸公式の導出
確率変数\(X\)の確率密度関数を\(f(x)\)，\(E(X) = \mu_x\) ，\(V(X) = \sigma_x^2\)とする．また，確率変数\(Y\)の確率密度関数を\(g(x)\)，\(E(Y) = \mu_y\) ，\(V(Y) = \sigma_y^2\)とする．また，確率変数\(X\)と\(Y\)の同時確率密度関数を\(p(x, y)\)，共分散\(Cov(X,Y)\)をとする．このとき，
\begin{align}
E(X+Y)&=\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} (x+y) p(x, y) dx dy \\
&= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} x p(x, y) dx dy + \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} y p(x, y) dx dy \\
&= \int_{-\infty}^{\infty} x p(x) dx + \int_{-\infty}^{\infty} y p(y) dy \\
&= E(X) + E(Y)
\end{align}
\begin{align}
E(aX+b)&=\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} (ax+b) f(x) dx \\
&= a \int_{-\infty}^{\infty} xf(x)dx + b \int_{-\infty}^{\infty} f(x)dx\\
&= aE(X) + b
\end{align}
\begin{align}
V(aX+b)&= E((aX+b)^2) – (E(aX+b))^2 \\
&= E(a^2X^2 + 2abX + b^2) – (aE(X)+b)^2 \\
&= a^2E(X^2) + 2abE(X) + b^2 – a^2E(X)^2 – 2abE(X) – b^2 \\
&= a^2(E(X^2) – E(X)^2) \\
& = a^2 V(X)
\end{align}
\begin{align}
Cov(X,Y)&= E((X-\mu_x)(Y-\mu_y)) \\
&= E(XY-\mu_xY-X\mu_y+\mu_x\mu_y) \\
&= E(XY)-E(\mu_x)E(Y)-E(X)E(\mu_y) +E(\mu_x)E(\mu_y)\\
& = E(XY) – E(X)E(Y)
\end{align}
\begin{align}
V(X+Y)&= E((X+Y)^2) – (E(X+Y))^2 \\
&= E(X^2 + 2XY + Y^2) – (E(X) + E(Y))^2 \\
&= E(X^2)+2E(XY)+E(Y^2) – (E(X)^2 + 2E(X)E(Y) + E(Y)^2) \\
& = (E(X^2)-E(X)^2) + (E(Y)^2 – E(Y)^2) + 2(E(XY) – E(X)E(Y)) \\
& = V(X) + V(Y) + 2Cov(X,Y)
\end{align}
※ 確率変数\(X\)が正規分布\(N(\mu, \sigma^2)\)に従うとき，確率変数\(aX+b\)は平均\(a\mu +b)\)，分散\(a^2\sigma^2\)の正規分布に従う．しかし，\(E(aX+b)=aE(X)+b\)をもって\(aX+b\)が正規分布に従うとは言えない．確率変数\(aX+b\)が正規分布に従うことは，別途証明が必要（正規分布の再生性）．
