今回の想定読者
今回のネタは、LLMの評価方法についてです。本記事を読んでいただけると、LLMやRAGの評価方法の概要を知ることができます。
以下の様な方が想定読者です。
- LLMの評価方法について興味がある
- LLMの組込はしているけど、どのように評価してよいかわからない
- RAGの精度がどの程度でているかを評価したい
ログビーの勉強会について
ログビー（Logbii）では、月一回オンラインの社内勉強会をしています。直近のものと、2025年以降のアーカイブを順次公開していきます。
ざっくりと、以下のルールで運用をしています。
- 月イチで、ランチタイムにオンライン開催（1時間）
- テーマ自由
- 持ち回りで開催
- ランチ代支給（2000円まで）、飲食可
- 業務時間扱い（業務時間を削る形）でOK
今回の勉強会について
今回は、2025年9月の勉強会アーカイブです。
フルスタックAIエンジニア（Logbii代表）のMatsudaさんが発表しました！
それでは、以下本編です。
LLMの評価方法
背景
- 最近外向けに発表したので、その社内共有。
-
Japan OSS Promotion Forum 【第12回】AIに関する勉強会～定例テック＆ビジネス勉強会
- タイトル: 「LLMの評価方法」
松田のプロダクトへのLLM組込経験
- データ分析をAIと対話しながらできるサービス
- PL、要件定義、設計、開発（SQLやグラフを生成、人によるテストデータを使った評価）
- LangChain, LangSmithなど
- メンタルヘルスケアのチャットボット（社内向け）
- PM、設計（認知行動療法を取り込んだ会話を生成、Azureを使った評価）
- Azure, Prompt Flowなど
- 生命保険初回面談を自動化するAIアバターを使ったチャットボット
- 生命保険初回面談をAIエージェントで自動化（プロトタイプ）
- PM、要件定義、設計（保険商談の会話を生成）
- GCP, Dialogflow, Soul Machines, OpenAI など
- 携帯キャリアが携帯ユーザー向けに提供するチャットボット
- 携帯ユーザーを支援するAIエージェント
- 要件定義、設計、開発（ユーザーとの会話を生成、Ragasを使った評価、ユーザー評価は別部署）
- LangGraph, Ragasなど
確認
- 何らかの方法でプロダクトにLLMを組み込んだことがあるか
- その際のLLM出力の評価方法をどのように行ったか
資料説明
ディスカッション
実務において評価で工数さくか？
- ケース・バイ・ケース
- 2C: クレームとか多いとしっかり
- 社内向け: 工数少ない
- 某スタートアップさんの場合: 機能リリースを優先
- 検証フェーズはこちらメイン
RAGをやってみたい
- ドキュメント管理でConfluence使ってる
- 新しく参画した人が入りやすくなるとよい
- MCPはやってない
- AWS S3 でRAGできる
- AWS S3 のやつだとサーチアルゴリズムがどうなのかは気になります
- AWSだとBedrock使うのが楽
LLMの負荷分散について
- LLM API同時接続が多い場合につまる
- API同時接続数の上限緩和
- 法人間契約
- Azure に相談
- OpenAI → Geminiに置き換え
- Gemini Flash: プロンプト融通聞かない
- 出力項目を限定したい
- 決まった文言出してね