第2回：社内業務にLLMを導入するための準備と設計
～PoCを始める前に知っておきたいこと～
はじめに
前回の記事では、**ChatGPTやLLM（大規模言語モデル）**が業務自動化にどのように活用できるか、そのユースケースを紹介しました。
今回は、実際に社内でLLMを導入する前に押さえておくべき準備と設計のポイントを解説します。
PoC（概念実証）を成功させるには、単なる「APIを呼んで動かす」だけでは不十分です。
プロンプト設計・データの扱い・セキュリティ・UI設計といった、地味だけれど成功を左右する要素が多くあります。
ステップ①：最初に明確にすべきこと
対象業務とKPIの明確化
- 例：
- 「議事録要約にかかる時間を月●時間削減」
- 「FAQ対応時間を●％削減」
- 数値化しづらい場合は、次のような定性的な指標も評価対象にしてOK。
- 業務のストレス軽減
- 初学者の立ち上がり支援
ポイント：定量指標と定性指標の両方を押さえることで、PoC後の評価がしやすくなる。
- チャット形式？ バッチ処理？ Excelアドイン？
ユーザーと用途の特定
-
誰が使うのか？
情報システム部、一般社員、管理職…利用者のITリテラシーや業務内容で設計が変わる。 -
どのような形式で使うのか？
チャット形式、バッチ処理、Excelアドイン、Webポータルなど。
ステップ②：プロンプト設計の基本
LLMの出力品質は、プロンプト（入力文）の書き方次第です。
PoC初期では特に「人が業務で使うことを前提とした言葉づかい」が肝になります。
つまり、より具体的に書く必要があります。
悪い例
この文章を要約してください。
良い例
以下は社内打ち合わせの議事録です。
箇条書きで3～5行に要約し、誰が何を話したかを明確に記述してください。
プロンプト設計のポイント
- 出力形式（例：箇条書き・文章・JSONなど）を明示する
- 対象読者を想定して出力スタイルを指示する
- 期待する粒度を指定（例：300文字以内、5項目以内）
ステップ③：セキュリティ・情報管理の観点
| 項目 | 留意点 |
|---|---|
| 機密情報 | 外部APIに送る内容は個人情報・顧客情報を含まないよう注意 |
| ログ | LLMの応答ログは監査対象になる場合あり |
| 検証環境 | 本番データを使う前にダミーデータで検証 |
| オプトイン | 「自動生成コンテンツを業務で使ってよいか」のルール化が必要 |
利用形態の選択肢
- OpenAI公式API（外部SaaSを利用）
- Azure OpenAI（企業向けセキュリティオプションあり）
-
自社サーバーでオープンソースLLMを構築
例：LLaMA、Mistral
補足：セキュリティ要件が厳しい企業では、外部SaaS利用が難しい場合があるため、オンプレ構成や閉域網接続も検討が必要。
ステップ④：RAGの構成を考える（後編の前提）
LLMは「手元の知識」を持たないため、業務ドキュメントを活用するには
RAG（検索拡張生成: Retrieval-Augmented Generation） の仕組みが必要です。
RAGの基本構成
- 業務マニュアルや社内Q&Aをベクトル化（埋め込み）
- ユーザーの質問と類似する文書を検索
- 検索結果をプロンプトに添えて LLMに送信
- LLMがそれを参考に回答を生成
この仕組みを作ることで、**「社内専用のChatGPT」**が実現可能になります。
※詳細は第3回で解説予定
ステップ⑤：導入形態とUIの検討
よくある導入パターン
- Slack／Teams へのチャットボット連携
- 社内ポータルの「AI相談窓口」
- Google スプレッドシート／Excel のアドイン
- Power Automate や Zapierとの連携
ポイント：「人が自然に使える場所」に組み込むと定着率が高まります。
まとめ
LLM導入は、派手な開発よりも最初の準備と設計がカギです。
- 誰が使うか、どんな業務を対象にするかを明確化
- 適切なプロンプト設計とデータ管理
- セキュリティと導入形態のバランスを取る
- 将来的なRAG構成も視野に入れる
この準備をしっかり行うことで、PoCの成功率と社内展開後の定着率が大きく向上します。
--
次回は、いよいよ
社内FAQボットの構築（RAG入門） を具体的に解説します！