はじめに
最近、部内向けに RAG（Retrieval-Augmented Generation）システム を試験的に作成し、α版として展開しました。
技術的にはそれなりにうまくいったのですが、実際に使ってもらうフェーズで思わぬところに躓いた という話です。
結論から言うと、
「AIの性能」ではなく「AIに対する認識」がボトルネックだったというお話になります。
Antigravityを使ってバイブコーディングした
今回のRAGシステムは、Antigravityを使ってバイブラインベースで構築しました。
- データ取得
- チャンク分割
- ベクトル化
- 検索
- LLMによる回答生成
といった一連の流れを、比較的見通しよく実装できたのは大きなメリットでした。
技術的には「部内検証用としては十分な精度」には到達しており、よし、これは使ってもらおう ということでα版として展開しました。
α版を部内に展開
部内の検証者に使ってもらい、
- 業務上の質問を投げる
- 回答の妥当性を確認する
という流れでフィードバックをもらう予定でした。
ここまでは、よくあるPoCの流れです。
しかし、実際に質問が始まると、少しずつ雲行きが怪しくなります。
検証者の質問に困った
検証者から出てくる質問の多くが、こんな前提を含んでいました。
- 「この質問には必ず1つの正解がある」
- 「答えは常に同じでなければならない」
- 「少しでも表現が違ったら不正解」
つまり、AIを“計算機”や“ルールベースシステム”として見ている 前提で質問されていたのです。
検証者は「1+1=2」の世界にいた
話を聞いていくと、検証者の多くは
今まで「1+1=2」という 完璧な精度を誇るシステムしか使ってこなかった
という背景を持っていました。
そのため、
- 曖昧な質問に対して幅のある答えが返る
- 前提条件が違えば回答が変わる
- 「それっぽいけど100%断言しない」表現になる
こういった 生成AI特有の挙動 に、強い違和感を覚えていたようです。
AIは「最適解を提示する」存在だという認識が浸透していない
RAG + LLM は、
- 複数の情報源を参照し
- 文脈を考慮し
- 「もっともらしい最適解」を提示する
という仕組みです。
しかしこの 「最適解を出す」という考え方自体が、まだ浸透していないということを強く感じました。
正解 or 不正解ではなく妥当か / 参考になるか
という評価軸に切り替える必要があります。
AI研修で本当に必要だと感じたこと
今回一番の学びはここでした。
AI研修では、使い方よりも先に「AIリテラシー」を育てる必要がある
ということです。
- AIは万能ではない
- 確率的に文章を生成する
- 前提条件が曖昧だと回答も揺れる
- 逆に、質問設計次第で精度は大きく変わる
こういった「前提知識」がないまま使うと、
- AIが間違っている
- このシステムは使えない
という評価になりがちです。
おわりに
RAGシステム自体の出来よりも、「それをどう理解してもらうか」 のほうが、実は難易度が高い。
今回の部内展開を通じて、技術導入と同時に 認識のアップデート を行う重要性を痛感しました。
もしこれから社内・部内でAIを展開する方がいれば、
まず「AIとは何者か」を共有する
その上で「どう使うか」を伝える
この順番を強くおすすめします。
技術は整ってきています。
あとは、人間側のアップデートですね。