前の記事
機械学習は平行四辺形を予測できるか？（１）外挿ってできるかな？
前の記事を書いて思ったのですが、あまりプログラムテクニックが書いてありませんでした。でも、一応pyhtonで計算しているので、タグはpythonにしてあります。pythonで機械学習している人も多いだろうから、qiitaへの投稿でも良いですよね。。。
この計算は、scikit-learnで計算しています。
さて、前の記事で外挿ができないことはわかりました。
じゃぁ、次のような問題は、どうなるでしょうか？
問３：小さい値と大きい値で学習して、その間は予測できるか？
| ａ | ｂ | 角度ｃ | |
|---|---|---|---|
| 学習用 | 0~50 and 1000~1100 | 0~100 | 0～90 |
| 内挿？外挿？ | 150～900 | 50 | 45 |
簡単な問題です。底辺の長さａを0~50、1000~1100で予測して、その間の150~900は予測ができるのでしょうか？
線形回帰のLassoは、たぶん予測できるのでしょう。でもランダムフォレストやニューラルネットワークは、どうなるのでしょうか？
このデータセットがあったら、0~1100まで予想できると、ついつい思ってしまいます。現実のデータは、こういう例がありそうです。
結果です。
まず、学習の結果の決定係数とグラフです。
| 決定係数 | 学習 | テスト |
|---|---|---|
| Lasso回帰 | 0.686 | 0.661 |
| ランダムフォレスト | 0.999 | 0.975 |
| ニューラルネットワーク | 0.997 | 0.997 |
Lasso
ランダムフォレスト
ニューラルネットワーク
底辺aの値は、小さい値と大きい値にしてありますが、bと角度cがランダムに作られているため、面積のareaの領域はつながって見えます。
グラフで見ると、ランダムフォレストの２つのはずれ値がなぜ出たのかはわかりませんが、でも、これらのグラフと決定係数をみれば、Lassoを選ぶ必要はないと感じてしまいますし、ランダムフォレスト最高！ニューラルネットワーク最高！って思いますよね。
では、底辺ａで学習した間の値を予測するとどうなるか？です。
とりあえずグラフを見てみましょう。
Lasso
ランダムフォレスト
ニューラルネットワーク
底辺ａの数値を学習の間に入れていますが、ニューラルネットワークは全然ダメです。これを見ると、ディープラーニングでの回帰予測は、しっかり内挿で予測しないと危ないですね。
ランダムフォレストもそうです。内挿、外挿をしっかり見極めないといけません。
Lassoは、みてわかるように、近い値で予測できています。少しでも外挿の恐れがある場合は、線形回帰が良いということかもしれません。
結論
機械学習で外挿の予想はやめましょう。特に、内挿のように見える外挿が要注意です。少しで外挿の予想をしていると思ったら、線形であると仮定を立て、線形回帰で頑張りましょう。
ということかもしれません。
次は、記述子設計を検討してみます。