はじめに
Orbitics株式会社データサイエンス部の上野です。
機械学習モデルを運用するMLOps（Machine Learning Operations）において、モデルのパフォーマンスを維持するためには、データドリフトとコンセプトドリフトという2つの重要な概念を理解し、適切に対処することが不可欠です。これらはモデルの精度低下を引き起こし、ビジネス価値を損なう可能性があります。
1. ドリフトとは何か？
ドリフトとは、本番環境でモデルが予測を行う際に、トレーニングデータと異なるデータパターンや関係性が生じる現象全般を指します。これにより、モデルは学習済みの知識が現在の状況に合致しなくなり、予測性能が劣化します。
機械学習におけるドリフトは、主に以下の2つに分類されます：
- データドリフト：入力特徴量Xの統計的特性の変化（例：分布、カテゴリの出現比率）
- コンセプトドリフト：入力と出力の関係性P(Y|X)の変化（例：同じXに対するYの変化）
両者が同時に発生することも多くあります。 例えば、ユーザーの行動変化により入力データの分布が変わり（データドリフト）、かつその行動に対する成果（クリックや予約率）も変化している（コンセプトドリフト）ケースです。
2. データドリフトとは？
データドリフトは、モデルの入力変数の統計的性質（分布、カテゴリ比率など）が時間とともに変化する現象です。これは、P(X) の変化と捉えられます。
例：マーケティング分野
-
顧客層の変化
かつては若年層が中心だったが、最近では中高年層の利用が増えてきた結果、年齢などの特徴量分布が変化。 -
流入チャネルの変化
SNS経由の訪問が急増し、メールや検索エンジンからの流入が減少。モデルの訓練時に主要だったチャネルと異なるデータが主流に。
例：航空業界
-
予約タイミングの変化
パンデミック以降、直前予約が主流に。「出発日までの日数」の平均や分散が大きく変化。 -
予約チャネルの分布変化
Webやスマホアプリでの予約が主流となり、従来の窓口予約や旅行代理店経由の割合が激減。
3. コンセプトドリフトとは？
コンセプトドリフトは、入力と出力の関係性、つまり P(Y|X) が時間とともに変化する現象です。これは、同じ入力に対して異なる出力が観測されるようになることを意味します。
例：マーケティング分野
-
開封率の変化
昔は「●●キャンペーン」系の件名で高い開封率を誇っていたが、現在はそのパターンが陳腐化して開封されにくくなった。 -
購買動機の変化
かつては「安さ」が購買理由の中心だったが、今では「サステナビリティ」「ブランドの信頼性」が重視されるように。
例：航空業界
-
予約決定要因の変化
パンデミック前は「価格」「マイル実績」が重視されていたが、現在では「柔軟なキャンセルポリシー」や「感染対策」が重要視される。 -
ロイヤルティ構造の変化
特典航空券よりも「企業対応の信頼性」や「混雑状況の明示性」が評価されるようになり、従来のスコアモデルが効かなくなった。
4. 両者の併存の具体例
直前予約の増加
-
データドリフト：
「出発日までの日数」の分布が大きく変わる（長期→短期） -
コンセプトドリフト：
同じ「2日前予約」でも、成約率や搭乗率が変わっている
予約チャネルの変化
-
データドリフト：
オンライン経由が主流になることで、「チャネル」特徴量のカテゴリ分布が変化 -
コンセプトドリフト：
同じチャネルでも、ユーザー属性や行動が変化し、成約傾向が変化
5. モニタリングと対応
モニタリング
-
データドリフト検知：
KS検定やPSI（Population Stability Index）で分布の変化を監視 -
コンセプトドリフト検知：
予測値と実測値の乖離を継続監視し、F1やAUCなどの指標変化をチェック
再学習と運用改善
- ウィンドウ学習、重み付き学習、新規データへの適応などによる再学習戦略
- 特徴量設計の見直し、意味的に安定した特徴量の導入
- コンセプトドリフトに対しては構造の再設計も視野に
まとめ
- ドリフトはモデル劣化の主要因であり、MLOpsにおける最重要トピックの1つ
- データドリフトとコンセプトドリフトは明確に区別できるが、実務上は同時に起こることも多い
- モデル運用では、「何が変化しているのか（入力 or 関係性）」を定期的に見極めることが重要
- 適切な監視・再学習体制により、モデルの信頼性を継続的に確保することができる