自己紹介
大手通信会社のグループで働いているAIエンジニアです。現在はグループ会社に出向し、Dify を使った社内問い合わせ対応のRAGチャットボットを構築・運用しています。
新卒で通信設備の保守からキャリアをスタートし、研究開発、Webサービスのバックエンドを経て、今はRAGの精度改善や製品選定まで担当しています。この記事では、これまでの経歴と、Qiitaで書いていきたいことをまとめます。
得意なこと
- Difyを使ったRAGチャットボットの構築(ワークフロー設計を含む)
- 実際の問い合わせ履歴を使ったRAGデータの設計と精度改善
- ハイブリッド検索とRerankを組み合わせた検索設計
- インフラからバックエンドまでの運用経験
経歴
1. 通信設備の遠隔保守(1〜3年目)
広域の通信設備を遠隔で保守する部署で、通信装置のConfig作成から、現地作業者と連携したConfig投入・テストまでを一気通貫で担当していました。
メーカーごとにConfigの共通部分が多いことに気づき、装置ごとの必要パラメータを入力するとConfigが生成されるExcel VBA を作成しました。これにより、1装置あたり1日がかりだった作業を半日に短縮できました。
2. 研究開発:故障予兆検知の検証(3〜5年目)
ネットワーク網の通信データを蓄積するデータレイクを使い、故障の予兆検知に取り組みました。
故障が起きてからの対処になってしまうため、深層学習で予兆を捉えられないかを検証しました。
- Elasticsearchで常時監視ダッシュボードを構築し、一瞬でも通信不能になった装置を自動でマーキング
- 再送に隠れていた秒単位の通信断を可視化
一方で、単発のパケット欠落は故障の予兆とは言えず、十分な精度が出せないと分かったため、見込みが薄いと判断して撤退しました。うまくいかなかった検証ですが、「何が分かれば撤退してよいのか」を考えるよい経験になりました。
3. 電子書籍サービスのバックエンド開発、FAQチャットボット導入(5〜7年目)
サーバーサイドエンジニアとして、電子書籍サービスのバックエンド全般(CDN運用、業務システムの構築・保守・運用、サーバー管理)を担当しました。
この頃からAIに触れ始め、DifyでFAQチャットボットを構築 しました。
- よくある質問と有人対応の回答履歴からRAGデータを作成
- Difyのチャンク分割の識別子を使い、質問と回答が1チャンクごとに分かれるよう設計
- ハイブリッド検索とRerankを組み合わせて検索
- 実際のユーザーの質問を投入し、担当者が回答を確認する方法で評価した結果、正答率は80% に到達
ログインや会員情報の変更、解約方法といった定型的な質問にはうまく答えられました。一方で、ユーザーの履歴を追わないと答えられない質問や、サイトや決済システム障害時の対応はチャットボットだけで解決させることができず、有人対応への誘導が必要でした。
そこで、FAQやトップ画面での障害告知と比べて、チャットボットの費用に見合うCX改善が出るかを検討し、在籍中は導入を保留 にしました。作れることと、導入する価値があることは別だと学んだ案件です。
4. 経理・給与業務の問い合わせ対応チャットボット(7年目〜現在)
現在は、グループ会社の給与・経理業務を受託する会社に出向し、会計処理、税務、資金、契約に関する問い合わせに答えるRAGチャットボットをDifyで作っています。日々大量に届く問い合わせを、生成AIで一次対応できるようにすることが目的です。
取り組んだ工夫は次のとおりです。
- マニュアルをRAGに投入して基本的な質問に回答
- 実際の問い合わせと回答を 一問一答形式でRAGデータ化 し、マニュアルだけでは拾えない質問にも対応
- 質問が長文だったり単語だけだったりと ゆらぎが大きい ため、検索前に生成AIで 要約・補完 する処理を追加
- マニュアル内の画像や表をExcelに変換し、きれいにチャンク分割
これらの結果、回答精度は 89% まで向上しました。
また、従来のツールは1つのプロンプトでしか制御できない点が限界だと感じ、ワークフローで処理を定義できるDifyへの乗り換えを提案しました。数か月の検証を経て承認をもらい、現在は親会社へのセキュリティ診断の提出など、本番導入に向けた手続きを進めています。
使っている技術
- 生成AI・RAG:Dify(ワークフロー、RAG)、ハイブリッド検索、Rerank、深層学習
- データ基盤・監視:データレイク、Elasticsearch
- インフラ・バックエンド:CDN、Red Hat、業務システムの運用
- その他:Excel VBA
Qiitaで書いていきたいこと
- DifyでRAGの精度を上げるためにやったこと(チャンク設計、検索設計、クエリの要約・補完)
- RAGチャットボットの評価方法と、うまくいかなかった事例
- 現場でのAI導入で気づいたこと