More than 1 year has passed since last update.

多重共線性の留意点

Posted at 2023-10-07

1. 多重共線性とは

多重共線性（Multicollinearity）は、統計学や回帰分析における重要な問題の一つです。これは、回帰モデルにおいて、独立変数間に高い相関が存在する場合に起こります。

以下のような状況を考えてみましょう。
想定する回帰式：$ Y = \beta_0 + \beta_1X_1 + \beta_2X_2 + \ldots + \beta_nX_n + \epsilon $

ここで、$X_1$と$X_2$が相関が高い場合、例えば$X_1$が増えると$X_2$も増える傾向があるとします。この場合、どちらの変数が$Y$に影響を与えているのかを区別するのが難しくなります。

重回帰分析では、複数の独立変数（説明変数）を使って目的変数（依存変数）を予測するモデルを構築します。多重共線性は、このような場合に起こる問題で、具体的な例を通じて説明します。

例えば、不動産価格を予測するモデルを考えます。この場合、独立変数として、以下のような要素を考えることとします。

これらの変数が相互に関連していない場合、それぞれが独立に価格に影響を与えると考えられます。

しかし、もし「家の広さ」と「地下室の広さ」が強い相関を持っている場合、例えば家が広い場合に地下室も広い傾向があるなど、これらの変数間に多重共線性が存在する可能性があります。

この場合、多重共線性の問題が発生すると、以下のような問題が起こります：

このように、多重共線性がある場合、モデルの解釈や予測に対する信頼性が低下する可能性があります。そのため、重回帰分析を行う際には、多重共線性の存在を確認し、適切な対処法を考える必要があります。

因子分析において多重共線性が問題となる具体的なケースとして、例えば、以下のような状況を考えてみましょう。

仮想的なデータセットがあり、3つの変数A、B、Cがあります。これらの変数は正の相関を持っており、相互に強い関係があるとします。

この場合、A、B、Cの間には強い相関があるため、多重共線性が発生します。ここで因子分析を行うと、以下のような問題が起こります：

因子の解釈が難しくなる: 多重共線性がある場合、因子分析の結果から因子を解釈することが難しくなります。例えば、因子がA、B、Cのすべてに影響を与える場合、それぞれの因子が示す内容が明確ではありません。
因子の信頼性が低下する: 多重共線性がある場合、因子の信頼性が低下し、因子が示す情報が不安定になります。
因子得点の解釈が困難: 多重共線性があると、因子得点を解釈することが難しくなります。それぞれの因子がA、B、Cにどれだけ影響を与えているのかを正確に理解するのが困難です。

上記のような例は、基本的にはレアケースで、そもそも、因子分析を行う意義がないのかもしれません。

因子分析や主成分分析を重回帰分析の前処理として行うアプローチは、多重共線性の問題を軽減するために一般的に用いられます。利点と注意点は、以下の通りです。

利点:

多重共線性の軽減: 因子分析や主成分分析は、変数間の相関を考慮に入れて新たな変数（因子や主成分）を作成します。これにより、元の変数間の相関が低減し、多重共線性の影響を軽減できます。
変数の次元削減: 因子分析や主成分分析は、元の変数をより少ない数の因子や主成分にまとめる効果があります。これにより、モデルの複雑さが削減され、過剰適合のリスクが低減します。
解釈が容易に: 因子や主成分は、元の変数を組み合わせて作成されるため、相関の高い変数がまとめられます。これにより、因子や主成分の解釈が容易になります。

注意点:

因子や主成分の解釈: 因子や主成分が具体的に何を示しているのかを理解することが重要です。これらは元の変数の組み合わせであり、具体的な意味を持つ場合がありますが、持たない場合もあります。
情報の損失: 因子分析や主成分分析によって、元の変数の一部が失われる可能性があります。これにより、重要な情報が失われる場合があります。
前処理の順序: 因子分析や主成分分析を行う際には、適切な前処理の順序を考慮する必要があります。例えば、標準化や欠損値の処理などが重要です。

多重共線性、マルチコの問題は、面倒ですが、考慮が必要です。
以前、重回帰分析で痛い目に遭いました（笑）
もう二度と、痛い目には遭いたくないです。

英語で「多重共線性」を表現するときは "multicollinearity" と言います。
多重共線性のは「マルチコ」と呼ばれることが多いです。