はじめに
大規模言語モデル・深層学習などの進展で、その適用範囲については期待が広がっている。
その多くは、従来以上の性能で結果を出していって産業上の利用範囲を広げている。
この記事では、機械学習が成果を出しにくい分野を述べておこうと思う。
（成果を出しにくいと言っているのであって、成果を出せないと言っているのではないのでないことに注意。）
成果を出しにくい分野
サンプル数が極端に少ない分野
機械学習は、データのサンプル数が多いほど成功しやすい傾向があります。そのため、学習を成功させるためにデータ数を増やす努力がされています。（細かく言うとデータの多様性など、様々な要因があります。 もちろん、少ないサンプルでの学習の試みがされていますが、少ないサンプルで学習させるためには、それ以外の要因を多数学習させておいて性能が出る努力をしています。そのような努力はありますが、サンプル数が多いほど機械学習がうまくいきやすいという傾向は否定できないでしょう。）
そのサンプル数が多いほど機械学習が成功しやすいという特性は、サンプル数が少ない状況では成功しにくいという傾向を持つことにつながっています。
- 学習データの集まるまでの期間が長過ぎる分野
例：大規模地震の発生の予測可能なルールの発見。地震はマグニチュードが大きくなるほど発生頻度が少なくなります。発生頻度が頻度が少ない分だけ統計的な判断が難しくなります。よほど法則性がわかっていれば、少ないサンプルでも仮説の検証ができる領域もあります。しかし、機械学習を必要とするのは、そのような明確な論理構造での仮説が立てられていないからです。つまり、少ないサンプルでは圧倒的に不利になっているということです。 - データ収集のコストが高すぎる分野
データ収集のコストが高すぎれば、学習や評価・実運用時のデータ収集が進みません。そのような分野では不十分な結果に終わってしまいやすい。
データの分布の外を予測する必要がある場合
- データ解析・多変量解析・回帰分析などの分野は、データの内挿の領域だと、予測の精度が出やすいが、データの分布の外を外挿する場合だと、予測の精度がでにくい。
- この傾向は、機械学習でも変わっていないんじゃないかと推測する。
- その領域でのデータのサンプル数をあげていけば、予測もそれにしたがって安定していくだろう。
つどの変化が大きく、定常性がない分野
- 乱流のようなもの
物理現象では、物理法則が知られているからといって、それを使って高い精度で予測することは難しい。
乱流のシミュレーションをして、もっともらしい結果を得ることはできます。しかし、正確な予測にはなりません。
レイリー・テイラー不安定性
のようにちょっとした違いで、擾乱が拡大していきます。
初期値のちょっとした違いは、その大規模な擾乱を起こす位置とタイミングに影響するでしょう。
ちょっとした変動が引き金になって、大規模な変動が起こるタイミングが決まる現象
例：大規模地震の発生するタイミング
例：火山噴火
例：パニック行動の発生
例：株価の暴落
これらの予測の難しさは、そのタイミングを予測することが難しいということです。
ただ、共通しているのは、起こるとすればどの程度の規模で起こりうるのかについては、予測可能性があることです。
株価の暴落の前には、「今の株価は実際よりも高く評価されている」という認識が関係者の中で既に持たれているという前兆があるはずです。
そのような前兆は、予測可能性があると思います。
ランダムな要素が高い現象
- サイコロの出る目は、サイコロの初期値と振り方で、古典力学に従えば決定論的に確定すると信じられています。
しかし、それを実際にシミュレーションして再現しようとは、思わないはずです。
ちょっとした要素のために結果がランダムに変動してしまうからです。
（イカサマのサイコロを使っているならば話は別ですが）
そのような分野では、決定論的な定式化は、機械学習としても無力になるはずです。
ランダムな要素が強い分野では、何かの現象を統計的に予測するなど、やり方を変えることでしょう。
つど支配的な要因が変化する分野
- ある作業の失敗の理由の判別
ある製品の製造上の問題を引き起こした要因を分析しようとします。
問題となる製造上の要因は、製造の初期とその後で時期によって変わっていくでしょう。
しかも、機械学習では要因が今手元にあるデータの中にあることを期待しています。
しかし、問題の原因は今手元にあるデータの中にあるとは限らないのです。
今まで製造の現場で品質管理をしてきた人たちの努力と経験を無視して、機械学習だけで問題を解決できるとは考えにくいと思います。
マシな方を選ぶことの繰り返しで達成できないこと
- 機械学習の多くは、２つの状態があったときに、マシな方を選ぶという操作を繰り返し行うことで学習を実現しています。
- そのため、最適状態ではない２つの状態があったときでも、マシな方を選ぶことを繰り返せば、最適な状態に近づけることを前提としています。
- このマシな方を選ぶことの繰り返しができない場合には、機械学習の多くは破綻してしまいます。
- 例：ゴルフのホールインワンを期待する。
結果が、ホールインワンの成否しか知らされないのだとしたら、学習して改善することは不可能です。
ボールの落ちた位置と目標位置の差を知らされるならば、機械学習で改善することは可能でしょう。
ですから、あなたの実現したいことを、「マシな方を選ぶことの繰り返し」で実現できるように課題をブレークダウンしてください。
見せかけの相関が、本当の要因を隠してしまう場合
- 目的変数に対して説明変数の数を多くすると、多変量解析では残差が少なくなっていきます。
- しかし、それはのぞましい状況ではありません。
- 変数間に相関のある組み合せで、身長と体重を説明変数に用いてはいけません。
- また、 AIC（赤池情報量基準）を用いてモデルの自由度を推定する方法があります。
対象とする領域での知識が不足している場合
- ある入力を元に出力を予測するというモデルを作るとします。
- 対象とする領域での知識が不足している場合には、何を入力として何を予測するのが適切なのかという課題の定式化に失敗する場合があります。
- 運用上の理由により、入手できない値を使えると想定して学習を作ってしまうと、運用できない機械学習ができあがります。
ポエム：大規模言語モデルは、常温常圧超電導体を発見できるだろうか？
- 人の能力を超える規模で、既存材料のデータベースを持ちうる。
- 人の能力を超える規模で、材料物性の理論の論文を学習し得る。
- 人の能力を超える規模で、量子化学計算で、材料特性を予測しうる。
- 人の能力を超える規模で、仮説を生成して、量子化学計算で、材料特性を予測しうる。
- 適切なガイドラインを与えることで、トライを実施する物質の構造を絞り込める。
私見：
- そもそも、自然は常温常圧超電導体を可能にしているだろうか？
- 常温常圧超電導体は、産業的に意味のある条件を満たしてくれるだろうか？
- だれも達成していない未知の分野に取り組めるほど、大規模言語モデルは賢いだろうか？
- 既存の材料物性の論文の全てが正しいわけではない。
- 多数の間違えた論文を多く含む状況から、本当の意味で有益な知見を引っ張り出すことができるだろうか。
もし、自然が常温常圧超電導を可能にしているとしたら、
その発見のための道具に大規模言語モデルが使われるのではないかと期待している。
BCS理論のように過去の材料物性の理論は、線形モデルであるし、人が理解できる程度に現象を単純化したモデルだ。
摂動法なども、人の理解力の範囲の中で近似的に解いてきたものにすぎない。
非線形の現象を非線形のまま解きうる手法として、大規模言語モデルはなっている。
どのようにその大規模言語モデルの、材料物性の予測機械としての完成度を高めていけば、
候補を絞り込んでいく際の手助けにはなるのではないだろうか。
どういう状況がのぞましいのかを例示できない場合
機械学習の分野では、損失関数を定義して、その値が小さくなる条件を探索します。
そのため、のぞましい条件では損失関数が小さくなるように損失関数を、あなたの目的のために定義します。
次に、その学習・評価ができるように、学習データを準備します。
この中で、のぞましい状況での判断をデータとして与えます。
この部分に機械学習の作者集団の価値観が反映してします。
例：新卒のエントリーシートの事前スクリーニング
これは、採用企業側の価値観の表明となります。
のぞましい・のぞましくない判定は、機械学習の作者集団の価値観による恣意的なものになることは避けられないでしょう。
まとめ
問題の定式化を、結果を出しやすいものに変更することで、機械学習の成果がでやすくなる。