機械学習に関連する定理
バーニーおじさんのルール
学習に際して，調整が必要なモデルのパラメータ数のおよそ10倍のデータは必要というヒューリスティック．
しかし，現実的には毎回このルールの適用は難しいため，データが少なくても済むような手法や，そもそもデータ数が数百個にも満たない場合は，データの収集から始めたり，ディープラーニング以外の手法を検討するべきである．
ノーフリーランチ定理
あらゆる問題において，万能なアルゴリズムは理論上存在不可能という定理．
過学習を回避するための，早期終了(early stopping)のことを，ジェフェリー・ヒントンが "Bautiful FREE LUNCH" と表現しているが，この定理がもととなっている．
みにくいアヒルの子定理
機械学習で「普通のアヒル」と「みにくいアヒル」の区別はできないということ．
モラベックのパラドックス
機械にとって，1歳児レベルの知恵や運動能力を身につけるほうが，高度な推論よりも遥かに難しいという逆説．