Human in the Loop（HITL）とは
- 人間との相互作用がシステム内に含まれること
- 人間が機械の苦手な部分を補うこと
- 従来、「AIが人間の仕事を取って代わる」と言われてきましたが、HITLは人とAIが共存し協力するための仕組みとして注目されています。
なぜ必要なのか？
品質保証と精度向上
- 人間が微調整を繰り返すことで、AIモデルの精度向上が可能になる。
エッジケースへの対応
- 異常データや例外的なデータなど、AIが対応しづらいケースを人間が補完する。
信頼性の確保
- 人がAIを評価することで、透明性や信頼性が担保される。
私たちのプロジェクト（社内チャットボット開発）でできること
1. 複雑な問い合わせへの人間の介入
- チャットボットでは対応が難しい質問が来た場合、人間の手で回答に切り替えることで、複雑な質問にも対応可能。
2. チャットボットの継続的な学習と改善
- 人間が対応した質問や未回答の質問を分析し、チャットボットの回答精度を継続的に向上させる。
- 同じ質問が再び来た場合に、自動で対応可能にする。
実現が難しいが検討したい内容
3. 回答内容の最終チェック
- LLMが生成した回答を人間がレビューし、不適切な回答や編集が必要な回答をチェックする。
- 参考：Lang GraphのReview-Edit State
4. 優れた回答の別途保存と学習
- 質問者の評価が高い回答を保存し、将来的にLLMの学習に使用する。
- ただし、特定の質問に対して固定的な回答を生成するリスクがあるため、慎重な運用が必要。
まとめ
大切なのは、人と機械の長所を組み合わせ、機能として落とし込むことです。
AIの限界を人間の介入で押し上げ、正確性や信頼性を担保することで、Human in the Loopは有効なアプローチとなるでしょう。