多重回帰モデルの問題について

今日は脳内整理も兼ねて、多重回帰モデルの問題について、我ここに綴る。

問題は

１，多重共線性

２，決定係数の欠点

３，複数個の係数を同時に鑑定する方法

 

などである。

今回は、

１，多重共線性について

多重回帰モデルにおいても、単回帰と同じく、最小２乗推定で推定係数や定数項を求める。推定係数に対数最小化条件は

１，eのゼロ・サム条件

２，e と　x　の直行条件　がある。

推定係数の評価は

単回帰では推定係数がβだけであるが、重回帰においては、β１やβ２へと増える。

そこで、多重回帰モデル特有の問題の１つ→多重共線性

決定係数 R^2 が１に近いにもかかわらず、推定値β１やβ２がある有意水準に設定すると、帰無仮説を棄却できない問題。

有意水準＞β１、β２

である。つまり、矛盾が生じている。

これが生じる原因は

推定係数b1の標準誤差σb１を求める時、分母に含まれる相関係数r12が大きい場合、σが大きなる

⇓

すると、t値=b1-0/σb1　より、ｔ値が大きくなる。

⇓

t値が大きくなると、P値が大きくなる。

⇓

すると、母係数β≠０であっても、帰無仮説β＝０を棄却できなくなるのである。

そのときの、相関係数r12は分散拡大要因＝Variance Inflation Factor　と呼ばれる。

VIF=1/1-r^2>10　のときは、多重共線性の疑いがある。

また、推定係数は理論的にプラスが期待されるものの、マイナスの値になることもある。→推定値の符号と理論が合わない。

次回は、決定係数R^2の欠点