機械学習とは端的に言えば、データを学習して予測するだけのこと。
データを学習するとは何か？原因となるデータを元に結果となるデータを予測できるようになること。
それは、原因(説明変数)によって結果(目的変数)を予測できるようになること。
人間世界のテストを考えてみると、問題集と同じ問題がテストにでるようなことがよくあるので、問題集を丸暗記してテストに望むこともあると思う。
しかし、これは応用力が皆無な勉強法で、機械学習でも同じことが言える。
原因(答え)をつかって結果(答え)の予測ができるのは当然のことである。
これをOverfiting(過学習もしくは過剰適合)という。
この状態は、人間でも機械学習でも全くの約立たずなので気をつける。