LLM（Large Language Model）の発展が著しく、その助けを借りない日がないくらいにLLMにはまっています。最近は、LLMの使い方を（再）発明することに熱心です。
ここでは、決して新しい手法ではないですが、LLMの面白い・有用な使い方について紹介したいと思います。今回はLLMを用いて文書間の差分分析を行うことについて紹介します。
目次
- どういった場面で文書の差分分析が使えるか
- ツール・ソース資料・プロンプト
- 結果
- 工夫した点・所感
- LLMを使いこなす観点での個人的おすすめ書籍
1. どういった場面で文書の差分分析が使えるか
企画業務に携わる方などは、国が作成したロードマップ資料やコンサルティング企業が発表するレポートを読まれることが多いのではないでしょうか？ロードマップやコンサルレポートというのは、今後何年か（10年くらいが多い？）の技術・政策・市場の方向性を示した（提言した）もので、企業などはその動向を無視できないし、「いかに大きな波に乗るか」を考えています。
しかしながら、国が作るロードマップやコンサルレポートは多くの場合ボリュームが非常に大きく、その情報を人間が処理するだけで一苦労します。最新の単一ドキュメントをChatGPTに食べさせて要約させるという手は誰もが実行しているのではないでしょうか？
ところで、ロードマップ・コンサルレポートには毎年更新されるものがありますが、年ごとの差分から、新たに生まれたトレンドや死にゆくトレンドを見出すことができるのです。さあ、トレンド抽出にチャレンジしてみましょう。
2. ツール・ソース資料・プロンプト
2-1. ツール
-
GoogleのNotebookLMを用います（精度は別にしてほかのツールでも原理的には代替可能です）。NotebookLMは無料で、最大200MBまでのソース資料をインプットとして用いることができます。数百ページのPDF資料を複数個、といったような、人間では処理困難な量のソースもハンドリング可能です。
-
NotebookLMではRAG（Retrieval-Augmented Geneation）という技術がコアにあり、世間一般の知識もサポートとしては使うのですが、ソース資料の内容に特化した形でQ&Aを組むことができます。NotebookLMの優れた点として、回答がソース資料のどこを引用しているかを指し示してくれるという点があり、根拠の有無を人間が確認することができます。
-
使い方は簡単で、（複数の）ソースファイルをドラッグアンドドロップし、プロンプト（質問・命令）を投じれば、回答を返してくれます。
2-2. 今回用いたソース資料
今回はIEA（The International Energy Agency）が公開している
をソースファイルとします。EVとはElectric Vehicle（電気自動車）のことです。いずれの資料もCC BY 4.0ライセンスです。
上記ページを見てわかる通り、
-
Download PDFボタンからPDF資料をダウンロードできます。
-
Previous editionsボタンから過去のバージョン（2022, 2021, ...）を探すことができます。
今回の場合、2024年資料は174ページ、2023年資料は142ページです。
2024年資料のアウトラインは以下のようになっています。2023年資料、2022年資料などとは章立て・章のネーミングがやや異なりますが、似たニュアンスの章があると思われるので、対応する内容を比較しながら差分解析ができるのでは？という仮説のもとプロンプトを作成しました。
2-3. プロンプト
貼付資料は、EVに関する年次レポートの2023年度版と2024年度版です。2024年度版には、次の10個の章があるようです。これら10個の内容について、2023年度の対応する内容と比較を行い、どのような違い・トレンドが現れているか、それぞれの内容について3点ずつポイントを挙げ、１点につき日本語150字程度で要点をまとめてください。
Trends in electric cars
Trends in other light-duty electric vehicles
Trends in heavy electric vehicles
Trends in electric vehicle charging
Trends in electric vehicle batteries
Trends in the electric vehicle industry
Outlook for electric mobility
Outlook for electric vehicle charging infrastructure
Outlook for battery and energy demand
Outlook for emissions reductions|
3. 結果
こちらのリンク先に保存しました。Wordで3ページ強です。
コピーペーストする過程で、リンク（ドキュメントのどの部分を引用して答えているか）の情報が落ちてしまいました。
情報ソースを辿れることの有益さについては、ぜひご自身のトライで確かめてみて下さい、
4. 工夫した点・所感
4-1. プロンプトの工夫
-
われわれは常に最新のものに興味があります。漠然と2023年の資料と2024年の資料の差分抽出を指示するのではなく、2024年の資料を基準に、2023年の資料との差分を抽出するようお願いしました。
-
10個の章の名前を改めてプロンプトで提示し、文書のどの領域にフォーカスしたらいいかをガイドすることにしました。こうしたガイドがないと、「LLMさん、章立てがある程度はわかっているようだけど、なんか手落ち感がある」といった分け方が提示されることがあります（特に長い文書をソースとするとき）。
-
はじめは「１章につき500文字程度で出力せよ」としていましたが、「１章についてポイントを３つに絞れ」としました。「箇条書きにせよ」と命じるなどの手段もありますが、アウトプットの視認性・可読性を高める工夫をしています。
-
ざっと眺めたかったので、150文字×3ポイント×10章くらいのボリュームで出力するよう指示しました。より詳細な情報が欲しい場合、文字数を増やすことや、「深く深く調べて」といったキーワードを与えるなどの余地があります。
いかに期待に即した回答を出してもらうか、は人間側の問いかけ能力が問われます。これはLLMに向かうときだけでなく、ほかの「人」にお願いごとをするときとまったく同じだと思います。プロンプトエンジニアリングは死んだといった記事をときどき見かけますが、「いやいや、そんなことはない」というのが今の私の気持ちです。
4-2. 結果に対する所感
-
わりと一般的な内容が返ってきた感じがあります。これはソース資料の性質（誰向けか？など）、読者がどれだけそのフィールドに精通しているか、読者がどれだけ深く調べたいか（必要なら文字数などを増やせる）等複雑な要素に影響を受けます。別のソース資料で似たトライをしたときにはもっと「使える」感触があり、個別の資料から真に有益な情報を抽出するには試行錯誤が必要かもしれません。
-
「論文のまとめを「生成AI」に任せて失われたもの」には「人は（AIがアウトプットする）正しいことだけでは響かない」という記述があります。LLMの発する内容が響くか、響かないか（私の場合はささるかささらないか、という言い方をします）。LLMを使いこなす究極なまでのプロンプティングに加え、人間側がLLMの発する結果をどうアクションに落とし込むかが大事だな、研究していかねばと考えています。
5. LLMを使いこなす観点での個人的おすすめ書籍
① 生成AIで世界はこう変わる（今井翔太）
② 面倒なことはChatGPTにやらせよう（カレーちゃん, からあげ）
③ LangChainとLangGraphによるRAG・AIエージェント［実践］入門（西見公宏, 吉田真吾, 大嶋勇樹）
④ 松岡まどか、起業します AIスタートアップ戦記（安野貴博）
RAGについて初めて知ったのは①を2024年のはじめに読んだときです。本書を読んでLLM活用のアイディアが爆発的に広がったのを今でも思い出します。
②は実用的テクニックのほか、プロンプトエンジニアリングに通じる理解を深めてくれた本です。相手（ChatGPT）を人間のように見たて、いかに気持ちよく回答を出してもらうか、を意識づけられました。
③は実装に関する本ですが、Advanced RAGの章がものすごく参考になりました。何気なく人間が投じた質問の向こう側で、エージェントたちが侃々諤々とやっているのかな、と思うと少しほほえましいです。
④は小説です。アンビエントで、個性を持った複数のAIたちと暮らしてきた主人公が、AIをフル活用したスタートアップを成長させる物語です。こちらもマルチエージェントの世界観がふんだんに展開されていて面白かったです。
まとめ
NotebookLMを用いて、発表された年度の異なる２つのコンサル資料から差分を抽出し、その間に起こったトレンドの変化を読み取るトライを紹介しました。
ほかにもいろいろなLLM活用法の（再）発明にチャレンジしているのですが、権利的に公開していけるものは今後も公開を検討してまいります。AIにぶちのめされないよう、必死です。
注意書き
本ページの著者の個人的な趣味の範疇です。所属組織の活動とは関係ありません。また今回のLLMの結果に対してはなんら保証できません。ここで挙げた方法論も含め、読者の責任のもとご活用ください。