はじめに
GMOコネクトの永田です。
顧客や社内向けに バグ内容を分かりやすく伝える資料作成 、工数かかりますよね。
技術的な説明を噛み砕いて、スライドにまとめて…という作業、エンジニアなら誰しも経験があるはずです。git issueをそのまま提示できれば楽なのですが、そうもいきません😅
そこで今回は、生成AIで「GitLab Issueから顧客向けスライド」を自動生成できるか検証してみました。比較対象は NotebookLM と Gemini App の2つです。
結論から言うと、NotebookLMの正確性が実務レベルでした。詳しく見ていきましょう！
まとめ
- NotebookLMは情報の正確性が高く、ハルシネーションが少ない。現時点で最も実務向き
- ただ、微修正できないのが実務上の壁
- Gemini Appは編集可能だが誤情報が混入するため、レビュー工数が増加
- NotebookLMに編集機能が追加されれば、エンジニアの資料作成業務を大きく改善できる可能性あり
スライド生成の方針
スライドの対象テーマ（Input情報）
今回はgit issueに十分な情報がありそうなgitlabのissueをテーマにしました。
実務でもこのようにgit issueにバグの解析・分析結果を残すことは多く、これを元にどれだけ分かりやすくスライドをまとめられるか？が、今回の観点になります。
このissueはCVE-2023-7028として昔話題になったものです。
比較対象のツール
今回は、それぞれ以下のツールを単体で試しました。
- Gemini App Canvas
- NotebookLM スライド資料
Gemini Appの場合
Gemini Appの実施手順
- 1 Gitlab IssueをPDF化
- リンクURLだと直接読めないと、Geminiから言われました
- 2 上記PDFを添付し「思考モード」で、スライド化にあたり不明点を確認
添付PDFのIssueの内容を、技術に詳しくない顧客向けに完結かつ分かりやすく説明したい。
説明スライド生成にあたり、不明点があれば提示して欲しい。
- 3 Geminiからの確認事項に回答
1. Self-Managed版（オンプレミス/自社サーバー）を利用
2. アップデートのための予算・工数承認を得るための説得資料
- 4 GeminiのツールをCanvasとし （重要）、Geminiのスライド化方針をレビューした上で、Googleスライドを明に指定して (重要)、スライドにしてもらう
- ツールをCanvasにしないと、単にチャットの回答だけになったりする
-
Googleスライドを生成と明に指定せず、単にスライドを生成とするとHTMLを出力してきたりする
上記の方針で16:9のGoogleスライドを生成
できました！
ダウンロードボタンだとPDFですが、スライドにエクスポート とすると、編集可能なGoogleスライドとして保存してくれるのがいいですね😊
Gemini Appのスライド例
githubにPDFと画像をアップロードしたので、そちらを参照してください。
またGoogleスライドからPPTに変換したものもいれています。
ちゃんと中身を読むと、ハルシネーション（誤情報）が混じっていそうです😇
絵がなぜかAuthorization Code Flowになっていて、さらに謎なID Providerが出現しています。
う〜ん、この誤情報は致命的ですね・・・
そして、かっこいい（個人の主観）のですが、情報量が0ビットの絵がでかでかと貼り付けられています。絵がうるさい😇
Googleスライドとして出力すれば編集できるので誤情報も要らないとところも修正はできるものの、誤情報が混ざってくるのはレビューが大変になります。
NotebookLMの場合
NotebookLMの実施手順
- 1 Gitlab IssueをPDF化
- リンクURLだとなぜかソースが空とNotebookLMから言われました（原因は不明）
- 2 NotebookLMのソースで上記PDFを指定
- 3 チャットで、スライド化にあたり不明点を確認
ソースPDFのIssueの内容を、技術に詳しくない顧客向けに完結かつ分かりやすく説明したい。
説明スライド生成にあたり、不明点があれば提示して欲しい。
- 4 NotebookLMからの確認事項に回答
不明点 1: 顧客が使用しているGitLab環境の特定 --> B) セルフマネージド版（SM）、16.7.2より古いバージョン
不明点 2: 説明の目的と情報開示の範囲の決定 --> 顧客経営者に、深刻度を正確に伝え、システム停止とアップデート費用捻出の許可を得る
不明点 3: 影響調査は並行して実施しており、別途報告予定。内容が深刻であり影響調査をまたずにアップデートすることを許可して欲しい
- 5 NotebookLMの「スライド資料」に指定するpromptを考えてもらう
上記スライド作成を、スライド生成AIに指示するためのpromptを検討
- 6 NotebookLMの「スライド資料」で、上記のpromptを指定して作成。形式:詳細、長さ:デフォルト
できました！
NotebookLMのスライド例
同じくgithubにアップロードしました。
ざっとみた感じ、誤情報はなさそうでした。
「予測可能なプライベートコミットメール」の話って何だっけ？と思いましたが、ちゃんとIssueに書いてありました。ちゃんとIssueを元ネタにまとめてくれています😊
Worth mentioning: we don't need to know the email of the account we'd like to reset. We can use the private commit email, which follows a predictable pattern, to trigger the reset.
ちょこちょことアイコンがスライドに挟み込まれていますが、Geminiの絵と比べると気にはならなかったです。（個人の主観）
スライドのクオリティは、Gemini Appよりかなり良いな、とは感じました。（個人の主観）
このままでもある程度使えそうですが、微修正したいときに修正しにくい（Googleスライドなどでテキスト、オブジェクトの編集ができない）のが、実務投入の大きな壁になりそうです。
この課題については海外でも話題になっているようで、みんな大好きRedditでも議論されています。みんな考えることは一緒ですね。
また、NotebookLM公式のXでも、近日中の編集機能のリリースに言及していました。
NotebookLMのスライドに編集機能が加わると、ハルシネーションの少なさ・適切な情報整理も加わり、エンジニアの資料作成はもうこれだけで良いんじゃない？になりそうな予感がしています。
（私がGoogle Workspaceのエコシステム内に生息しているのも理由にありますが）
（再掲）まとめ
- NotebookLMは情報の正確性が高く、ハルシネーションが少ない。現時点で最も実務向き
- ただ、微修正できないのが実務上の壁
- Gemini Appは編集可能だが誤情報が混入するため、レビュー工数が増加
- NotebookLMに編集機能が追加されれば、エンジニアの資料作成業務を大きく改善できる可能性あり
最後に、GMOコネクトではサービス開発支援や技術支援をはじめ、幅広い支援を行っておりますので、何かありましたらお気軽にお問合せください。