確率変数の独立性

2変数確率変数X,Yに対して、それらが独立(independent)であるとはどういうことかを説明します。そして、独立であることと、相関があることの関係を説明します。

ます、2つの確率変数に対する独立性の定義を見てみましょう。

2つの独立変数の独立性の定義

確率変数X,Yが同時に[latex]X=x[/latex]と[latex]Y=y[/latex]という値をとる同時確率分布を[latex]f(x,y)=P(X=x, Y=y)[/latex]とします。また、確率変数[latex]Y[/latex]の値は問わずに、とにかく確率変数[latex]X[/latex]が[latex]X=x[/latex]という値を取る周辺確率分布を[latex]g(x)=P(X=x)=\sum_y f(x,y)[/latex]とします。同様に確率変数[latex]X[/latex]の値は問わずに、とにかく確率変数[latex]Y[/latex]が[latex]Y=y[/latex]という値を取る周辺確率分布を[latex]h(y)=P(Y=y)=\sum_x f(x,y)[/latex]とします。

そこで、2つの確率変数の同時確率分布(同時確率密度関数)[latex]f(x,y)[/latex]が、それぞれの確率変数の周辺確率分布(周辺確率密度関数)[latex]g(x)[/latex]と[latex]h(y)[/latex]の積に分解できる時、その2つの確率変数は独立(independent)であると言います。

[latex size=2]\displaystyle f(x,y)=g(x)h(y)[/latex]

 

2つの変数の独立性と条件付き確率

ここで、条件付き確率について思い出してもらいたいのですが、一方の確率変数が[latex]Y=y[/latex]という値をとったという前提のもとで、もう一方の変数が[latex]X=x[/latex]という値をとる確率(条件付き確率分布)を条件付き確率といい、[latex]g(x|y)=P(X=x|Y=y)[/latex]と書くのでした。(XとYを入れ替えた、[latex]h(y|x)=P(Y=y|X=x)[/latex]も同様に定義します。)

実は、2つの確率変数が独立である時、条件付き確率分布[latex]g(x|y)[/latex]と[latex]h(x|y)[/latex]はそれぞれ周辺確率分布[latex]g(x)[/latex]と[latex]h(y)[/latex]に一致します。つまり、次が成り立ちます。

[latex size=2]\displaystyle g(x|y)=g(x)[/latex]

 

[latex size=2]\displaystyle h(y|x)=h(y)[/latex]

 

これは大雑把にいって、確率変数が独立であれば、一方の確率変数に条件があったとしても、他方の確率変数には影響しないということですね。

 

独立の時、期待値はそれぞれの積に分解できます。

さて、確率変数が独立であれば、その期待値について次のような定理が成り立ちます。2つの確率変数が独立の時、2つの確率変数の積の期待値は、それぞれの確率変数の期待値の積になります。

[latex size=2]\displaystyle E(XY)=E(X)E(Y)[/latex]

 

この証明は、期待値と独立性の定義からすぐに導くことができます。

 

独立と相関の関係

さて、2つの確率変数に対して、独立と相関という2つの概念が出てきました。そこでこれらの間の関係はどうなっているでしょうか?

次のようなことが定理として成り立ちます。

「独立(independent)ならば無相関(no correlarion)になります。ただし、無相関だからと言って、独立とは限りません。」

これが成り立つ理由は以下の通りです。相関の定義より次のように証明できます。

[latex size=2]\displaystyle C(X,Y)=E(XY)-E(X)E(Y)=0[/latex]