Help us understand the problem. What is going on with this article?

[備忘録]単回帰

More than 1 year has passed since last update.

はじめに

機械学習を勉強するついでに統計学についても勉強をはじめてみた。
コミットしたい記事など溜まってるので、物凄くザックリに単回帰について記述したいと思う。
そのため読みにくい、間違っていることを書いてしまうと思うのでご指摘いただければありがたいです。

データについて

例えば下記表のように各日にちの最高気温によってアイスコーヒーの売れた個数のデータがあるする

日付 最高気温 注文数
2017/7/1 29 76
2017/7/2 28 65
2017/7/3 34 93
2017/7/4 31 84
2017/7/5 25 59
2017/7/6 29 64
2017/7/7 32 80
2017/7/8 31 75
2017/7/9 24 53
2017/7/10 33 92
2017/7/11 25 54
2017/7/12 31 75
2017/7/13 26 65
2017/7/14 30 80

このデータを縦軸を売れた個数、横軸を気温とすると下の図のようにプロット出来る。
Figure_2.png
この図から気温が高くなるほどアイスコーヒーが売れてるような傾向があると分かる。
今回は最高気温が何度の時にアイスコーヒーが何杯売れるかを予測できる一次式を求める。

回帰式を求める。

単回帰では、回帰直線は$\hat{y} = ax +b$で表され、最小二乗法になるように$a$と$b$を求める。
下記に求め方に対応する計算結果の表を示す。

各日にちの最高気温:$x_{i}$
最高気温の平均:$x_{ave} = 29.14285714$
各日にちの注文数:$y_{i}$
注文数の平均を:$y_{ave} = 72.5$
として、回帰式を求めるための偏差平方和・偏差積和を求める。
$x$の偏差平方和:$S_{xx} = \sum_{i=1}^{
14} (x_{i}-x_{ave})^2$
$y$の偏差平方和: $S_{yy} = \sum_{i=1}^{
14}(y_{i}-y_{ave})^2$
$x$と$y$の偏差積和: $S_{xy} = \sum_{i=1}^{
14}(x_{i}-x_{ave})(y_{i}-y_{ave}) $

この時、今回のデータに対する回帰直線$a$と$b$を求め方は

a = \frac{S_{xy}}{S_{xx}}

=\frac{499.00000000000006}{129.7142857142857}
=3.8469162995594726


b=y_{ave} -x_{ave}×a  \\
= 72.5 - 29.142857142857146 × 3.8469162995594726 \\
= - 39.610132158590346



よって回帰式$\hat{y}$は

\hat{y} = 3.8469162995594726  x - 39.610132158590346

と表される。下記図に回帰直線$\hat{y}$をプロットしたグラフを表示する。
Figure_1.png

上記のようになんとな〜く回帰直線が引けてることがわかる。

寄与率を求める

この回帰式の精度を評価する方法の一つ、寄与率を求めて評価を行ってみる。
寄与率は、重相関係数$R$の平方和で表される。
重相関係数は、

R=\frac{yと\hat{y}の偏差積和}{\sqrt{yの偏差平方和×\hat{y}の偏差平方和}}

と表される。
$y$の偏差平方和: $S_{yy} = \sum_{i=1}^{
14}(y_{i}-y_{ave})^2 $
$\hat{y}$の偏差平方和: $S_{\hat{y}\hat{y}} = \sum_{i=1}^{
14}(\hat{y_{i}} - y_{ave})^2 $
$y$と$\hat{y}$の偏差積和: $S_{y\hat{y}} = \sum_{i=1}^{
14}(y_{i}-y_{ave})(\hat{y_{i}} - y_{ave}) $
であるので、

R=\frac{yと\hat{y}の偏差積和}{\sqrt{yの偏差平方和×\hat{y}の偏差平方}} \\
=\frac{S_{y\hat{y}}}{\sqrt{S_{yy}×S_{\hat{y}\hat{y}}}} \\
=\frac{1919.611233480177}{\sqrt{2159.5×1919.6112334801774}} \\
=\frac{1919.611233480177}{2036.0256527608985}\\
=0.9428227148695986

よって
寄与率:$R^2 = (0.9428227148695986)^2 = 0.8889146716740803$
寄与率は0〜1の間で表されており、1に行くほど回帰式が精度高いことを示している。
統計学上、寄与率がどのくらいあれば精度が高いと言えるか明確な基準がないみたいです。
寄与率の目安としては0.5以上みたいです。

下に今回の計算過程の表を示す。

日付 最高気温:$x$ 注文数:$y$ $S_{xx}$ $S_{yy}$ $S_{xy}$ $\hat{y}$ $S_{yy}$ $S_{\hat{y}\hat{y}}$ $S_{y\hat{y}}$
7/1 29.0 76.0 0.020408163265305982 12.25 -0.4999999999999982 71.95044052863436 12.25 0.3020156125676819 -1.9234581497797407
7/2 28.0 65.0 1.3061224489795906 56.25 8.571428571428568 68.10352422907488 56.25 19.32899920433164 32.97356828193841
7/3 34.0 93.0 23.59183673469388 420.25 99.57142857142858 91.18502202643171 420.25 349.13004812823823 383.04295154185013
7/4 31.0 84.0 3.4489795918367365 132.25 21.357142857142858 79.64427312775331 132.25 51.040638523938036 82.15914096916305
7/5 25.0 59.0 17.163265306122447 182.25 55.92857142857142 56.56277533039646 182.25 253.99513016941958 215.15253303964772
7/6 29.0 64.0 0.020408163265305982 72.25 1.21428571428571 71.95044052863436 72.25 0.3020156125676819 4.671255506607942
7/7 32.0 80.0 8.163265306122453 56.25 21.42857142857143 83.49118942731279 56.25 120.80624502707214 82.4339207048458
7/8 31.0 75.0 3.4489795918367365 6.25 4.642857142857143 79.64427312775331 6.25 51.040638523938036 17.860682819383268
7/9 24.0 53.0 26.44897959183673 380.25 100.28571428571428 52.715859030837 380.25 391.41223388771414 385.7907488986786
7/10 33.0 92.0 14.877551020408168 380.25 75.21428571428572 87.33810572687223 380.25 220.16938156183886 289.34306167400865
7/11 25.0 54.0 17.163265306122447 342.25 76.64285714285714 56.56277533039646 342.25 253.99513016941958 294.83865638766537
7/12 31.0 75.0 3.4489795918367365 6.25 4.642857142857143 79.64427312775331 6.25 51.040638523938036 17.860682819383268
7/13 26.0 65.0 9.877551020408161 56.25 23.57142857142857 60.40969162995594 56.25 146.17555648275737 90.67731277533044
7/14 30.0 80.0 0.7346938775510212 56.25 6.428571428571433 75.79735682819383 56.25 10.872562052436457 24.730176211453706
合計 408.0 1015.0 129.7142857142857 2159.5 499.00000000000006 1015.0 2159.5 1919.6112334801774 1919.611233480177
平均 29.142857142857146 72.5 - - - - - - -

参考までにgithubにテストデータとソースコードを置いとく

github
ソースも雑に書いて汚いが参考になれたらありがたい。

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした