AIのモニタリングと保守

モデル劣化

機械学習モデルは、一度作って終わりではない。
時間の経過とともに精度が落ち、気づかないうちに「使えないモデル」へと変わっていくことがある。この現象を モデル劣化（Model Drift） と呼び、機械学習モデルの予測性能が時間とともに低下する現象も指す。
学習時には高精度だったモデルが、運用を続けるうちに徐々に現実とズレていく。

原因は単純で、モデルが学習した世界と、現在の世界が変わってしまうからだ。

モデルは過去のデータから「こういう入力なら、こういう結果になる」という関係を学ぶ。しかし、現実世界は常に変化している。
その変化にモデルが追従できなくなったとき、劣化が起きる。

モデル劣化の中核：データシフト

モデル劣化の多くはデータシフトによって引き起こされる。
データシフトとは、学習時のデータ分布と、運用時のデータ分布が変わることである。

例：需要予測モデル

過去5年分の販売データで学習した需要予測モデルを考える。

• 消費者の好みが変わった

• 競合商品が増えた

• 価格改定や法規制が入った

こうした変化により、「同じ特徴量でも意味が変わる」状態になる。モデルは正しく計算しているが、前提が壊れているため、結果が外れる。

データシフトの主な種類

データドリフト（入力データの変化）

入力特徴量の分布が変わる現象である。

• 年齢層が変わる

• ユーザー属性が変わる

• 季節性やトレンドが変わる

モデルは「見慣れないデータ」を扱うことになり、精度が低下する。

コンセプトドリフト（関係性の変化）

入力と正解の関係そのものが変わる現象である。

• 昔は「高価格＝高品質」だったが、今はそうとは限らない

• 不正取引の手口が進化する

これは最も厄介で、データを足すだけでは解決しない場合もある。

特徴量ドリフト

特定の特徴量だけが意味を失う、あるいは重要度が変わる現象である。

• 以前は重要だった指標が、今はほぼ無意味

• 新しい特徴量が必要になる

特徴量設計の見直しが必要になる。

予測ドリフト

モデルの予測結果の分布が変化する現象である。

• 以前より極端な予測が増える

• 予測が偏る

これは「何かがおかしい」という早期警告サインになる。

モデル劣化が引き起こす問題

モデル劣化は、単なる精度低下にとどまらない。

• 在庫過多・欠品の増加

• 誤検知による顧客体験の悪化

• 誤った意思決定の自動化

• AIシステム全体への不信感

特に怖いのは、静かに壊れることだ。モデルはエラーを出さず、もっともらしい予測を返し続ける。

生成AIにおけるモデル劣化という新たな問題

近年では、生成AI特有の劣化も問題になっている。

AIがAIから学ぶ「学習循環」

AIが生成した文章を別のAIが学習データとして使う、この循環が続くと、データの質が徐々に劣化する。
誤りや偏りが増幅され、最終的にはモデルが自己崩壊する。

これは「モデルドリフト」と「データ汚染」が組み合わさった、より深刻な問題である。

モデル劣化の兆候をどう検知するか

性能指標の継続監視

• 精度

• 再現率

• 誤検知率

過去との比較が重要である。

分布の監視

代表的な手法として以下がある。

• Population Stability Index（PSI）

• KS検定

• Zスコア分析

「精度が落ちてから気づく」のでは遅い。

モデル劣化への対策

定期的な再学習

最新データでモデルを作り直す。最も基本で、最も効果的な方法である。

オンライン学習

新しいデータを逐次学習する仕組みである。変化が激しい環境では有効だが、設計は難しい。

特徴量の見直し

使えなくなった特徴量を捨てる。新しい特徴量を追加する。
モデル以前に「入力」を疑うべきである。

モデルの作り直し

前提そのものが壊れている場合、再学習では不十分である。アルゴリズムや設計を見直す必要がある。

モデルは「作った瞬間がピーク」である

機械学習モデルは、完成した瞬間が最も現実に近い。
そこから先は、何もしなければ必ず劣化する。

• 監視する

• 気づく

• 直す

このサイクルを回し続けることが、実運用における機械学習の本質である。

AIモデルの再学習・更新

機械学習モデルは、一度学習させれば永久に使えるものではない。
実運用においては、データは時間とともに追加・変化し、それに応じてモデルを再学習・更新する必要がある。

しかし、単純に新しいデータで再学習を行うと、破滅的忘却という致命的な問題が発生する。本記事では、AIモデルの再学習・更新を考える上で避けて通れない「破滅的忘却」と「継続学習」の考え方について整理する。

なぜAIモデルは再学習・更新が必要なのか

従来の機械学習の教科書的な設定では、

• 学習データを固定する

• 学習後に評価を行う

という流れが前提である。しかし、実際の機械学習システムでは、

• 新しいデータが継続的に取得される

• 環境やユーザー行動が変化する

• 扱うクラスや条件が増える

といった状況が常に発生する。このため、モデルは一度作って終わりではなく、継続的な更新を前提とした設計が求められる。

破滅的忘却

破滅的忘却とは、新しいタスクを学習すると、過去に学習したタスクの性能が急激に低下する現象である。

例えば、以下のような段階的学習を考える。

• 「0 vs 1」の2値分類タスクを学習

• その後、「2 vs 3」の2値分類タスクを学習

このとき、新しいタスク（2 vs 3）を学習した直後、それまで高精度で解けていた 0 vs 1 の分類ができなくなることがある。
これはモデルが「新しい知識を上書きする形で重みを更新する」ためである。
人間では起こりにくいが、ニューラルネットワークでは非常に起こりやすい現象として知られている。

実務では「新しいデータが来たら再学習すればよい」と考えがちである。
しかし、単純な再学習は破滅的忘却を引き起こす可能性が高い。

特に以下のケースでは問題が顕在化しやすい。

• 過去データを保持できない

• 計算資源の都合で全データ再学習ができない

• モデルを止めずに更新したい

このような背景から登場したのが継続学習である。

継続学習とは

継続学習とは、次々に到着するデータやタスクに対して、過去の知識を保持しながら学習を続ける枠組みである。
目的は以下の両立である。

• 新しいデータ・タスクに適応する

• 過去に学習した知識を忘れない

これは、AIモデルの再学習・更新を設計する上で非常に重要な視点となる。

継続学習における代表的な問題設定

継続学習では、主に以下の2つの問題設定が用いられる。

• クラス増分（Class Incremental）

• ドメイン増分（Domain Incremental）

ここでは、犬と鳥の画像分類器を例に説明する。

クラス増分（Class Incremental）

クラス増分とは、これまで学習していなかったクラスを、新たに追加して学習する問題設定である。

例）

学習済み：犬・鳥の画像分類

追加学習：船の画像

この場合、モデルは「犬・鳥・船」を同時に分類できる必要がある。
単純に船の画像だけで再学習すると、犬や鳥の識別性能が低下する可能性がある。

実務では、

• 商品カテゴリの追加

• 異常検知対象の増加

などで頻繁に登場する設定である。

ドメイン増分（Domain Incremental）

ドメイン増分とは、クラスは同じだが、データの分布（ドメイン）が異なるデータを学習する問題設定である。

例）

学習済み：晴れの日の犬・鳥画像

追加学習：雪の日の犬・鳥画像

この場合、クラスは同じでも、見た目が大きく変わる。モデルは「雪」という新しい特徴を理解できず、誤分類を起こしやすくなる。

このようなドメインの変化はDomain Shiftとも呼ばれ、自動運転や医療AIなどでは致命的な問題となる。

AIモデル更新と転移学習の関係

AIモデルの更新方法として、転移学習も広く使われている。
転移学習とは、別のタスクで学習したモデルをベースとして、新しいタスクに適応させる手法である。

転移学習の特徴

• 学習時間を短縮できる

• 少量データでも高精度を出しやすい

• 画像・音声・自然言語処理など幅広く適用可能

一方で、転移元と転移先の関係が弱い場合、負の転移が発生することもある。

ファインチューニングとの違い

ファインチューニングは、転移学習の一種であり、学習済みモデルを初期値として重みの一部または全体を再学習するという手法である。

単なる再学習ではなく、「どこまで学習させるか」を制御する点が重要である。
これは、破滅的忘却を抑えるための一つの実践的アプローチとも言える。

AIモデル再学習・更新で重要な視点

AIモデルの更新を考える際、重要なのは以下である。

• 新しいデータに適応すること

• 過去の知識をどの程度保持するか

• 更新コストと精度のトレードオフ

「とりあえず再学習する」という判断は、
長期的にはモデル品質を不安定にする可能性がある。

参考