去年o1がリリースされた頃に、o1にo1の使い方を聞いたら、o1が何かも知らず、自分をGPT4と認識していた
どうやらこのモデルはpre-trainedであり、o1の開発時に自身がo1であることを学習していないためにこういう事が起きるそうだ。
o3-mini-highで検索機能をオンにしても同じようなチャットとなり、自身をGPT4だと認識している。
https://chatgpt.com/share/67b57023-4684-8003-949b-66a5409c043e
↑チャット記録
検索はリアルタイムだと思っていた。リアルタイムならo3-mini-highについてのサイトは無数に存在しているはずで、自信をo3-mini-highと認識できずとも、o3-mini-highというモデルについての詳細は解説してくれるはずだ。しかし実際には「関連する情報は見つからない」と言ってくる。検索機能もpre-trainedなのか
「リアルタイムで学習はできないか？」と訊くと、
リアルタイムで動的にトレーニングデータを取り込み、モデルを随時更新していく仕組みは、技術的にも運用的にも多くの困難が存在します。以下に主要な理由や問題点を挙げます。
-
大規模モデルの再学習コスト
近年の大規模言語モデル（LLM）は数十億から数千億といった莫大なパラメータを持っています。これらを再度学習させるには膨大な計算資源（GPU・TPUクラスタ）、時間、コストがかかります。リアルタイムで新しい情報を学習させようとすると、そのたびに微調整（ファインチューニング）を行う必要があり、これが現実的なパフォーマンス・コスト面で大きなハードルとなります。 -
継続的学習（Continual Learning）問題
LLMを継続的に学習させると、「忘却（Catastrophic Forgetting）」と呼ばれる問題が発生しやすくなります。これは、新たな知識を学習するときに、以前学習した知識を突然失ってしまう現象です。継続学習やオンライン学習を実現するためには、この忘却を最小限に抑えながら新情報を統合する高度な手法が必要です。
さらに、動的な環境下で情報が常に更新されていくと、モデルは「整合性」や「一貫性」を保ったまま知識ベースを拡張する必要があり、そのための手法開発はまだ研究途上といえます。 -
トレーニングデータの品質・検証
モデルに新しい情報をリアルタイムで与える場合、その情報源の信頼性・正確性を検証する工程が不可欠です。インターネット上の情報は玉石混交であり、フェイクニュースや誤情報、偏った情報が混在しています。これらを無差別にモデルへ取り込めば、モデルの出力品質や信頼性が著しく損なわれます。そのため、動的なトレーニングパイプラインを確立するには、データクリーニングや品質管理を自動的かつ厳密に行う高度な仕組みが求められます。 -
トレーニングと推論の切り分け
現在、LLMの運用は基本的に「トレーニングフェーズ」と「推論フェーズ」に明確に分けられています。モデルはトレーニング後に凍結された状態で、推論専用サーバーやエッジデバイスで利用されます。この分離は、インフラの最適化や安定稼働、スケーラビリティを確保する上で有利です。リアルタイムに学習を行うには、推論サーバー側でも継続学習が可能なインフラを用意する必要があり、その結果、複雑なアーキテクチャ設計やハードウェアの再構築が必要になります。 -
安定性と検証期間の確保
新しい情報を逐次学習させると、モデルの挙動が頻繁に変化します。これにより、ユーザーや開発者がモデルの出力の安定性・信頼性を評価しにくくなり、品質保証（QA）や安全性評価、ポリシーコンプライアンス（有害な出力を防ぐ）などの観点から、サービス運用が難しくなります。モデルが一定期間安定した出力品質を維持するためには、トレーニングをある程度バッチ的に行い、公開前に品質テストを行う方が現実的です。
これらの要因により、リアルタイムで動的にトレーニングデータを取り込みモデル自体を更新する仕組みは、現状では非常に困難です。しかし、研究コミュニティや産業界は「オンライン学習」や「継続学習」、「パラメータ効率のよい更新手法（LoRAなど）」、「動的な知識ベースへのアクセス（Retrieval Augmented Generation）」といった方法で問題解決に向けた試みを進めています。今後の技術的進歩や計算資源・インフラの発展、アルゴリズムの改善により、徐々にリアルタイム学習に近い形態が実現される可能性があります。
というチャットが返ってきた。
道のりは長いが、この継続学習を実現してみたいものだ。