はじめに
こんにちは、フジマロです
近年LLMで解決できる業務は多くなりましたが、業務を任せるための作り込みをするとつまずいたポイントがいくつかあります
LLMがタスクを完了させる裏側でコードを実行させるという挙動が必要になります。
これを、クラウドサービスで実施するには、AWS LambdaやAzureFunctionでPythonなどを実行させることになりまが、バージョンアップの早いPythonはクラウドでは使えないライブラリが沢山あります。
この場合、AWS Lambda、AzureFunction、GPTコードインタープリンターこれらで非対応な機能を使いたい場合クラウドでは解決出来ません
そこで今回は、このような問題が解決出来る方法をご紹介します
Agenda
ローカルLLMとは
今回やること
➀DBのデータをファイル出力
➁ローカルLLMがPowerPointレポート生成
➂生成レポートをBoxアップロード
ローカルLLMとは
ローカルLLM（Local LLM）とは、クラウド（ChatGPT等）ではなく、自身のPCや社内サーバー（オンプレミス）上で直接動作させるAIモデルです。現在多くのモデルが公開されています
-
メリット
・閉域網で利用できるため機密性の高いデータの安全性が担保出来る
・クラウドでは利用できないサーバー特有な機能(Pythonライブラリなど)も利用可能
・LLMの利用料が安い -
デメリット
・入力したプロンプトによっては意図しないサーバーの設定変更が可能な強いアクセス権をもっている
・高性能なサーバースペックが必要なためサーバー費用は高い
・モデルごとの性能差が大きい
ローカルLLMは、モデルごとの性能差が大きいという特徴があります。
日本語の自然さ、長文処理、多言語性能、推論の得意不得意はモデルによって大きく異なります。たとえばGoogle Gemmaは140以上の言語対応、Qwen2.5-7B-Instructは29以上の言語対応と128Kコンテキスト、どちらも日本語タスクでの性能は高いのが特徴です。
※LLMの中には日本語が不得意なモデルはまだまだ多いです
今回やること
オンプレミスにあるデータを、ローカルLLMを使って解析し、レポートをPowerPointにまとめてBoxにアップロードします
DataSpiderで上記の処理を作成すると下記になります
DataSpiderを使うことでLLMが直接DBにアクセスする挙動を取らないため意図しないサーバー設定変更のリスクを回避できます
➀DBのデータをファイル出力
ここでは、データベース内に格納された受注データをCSVファイルに格納します
DataSpiderにはPostgresSQLと接続する専用アダプターがあります。
繋ぎ方はこちらもご確認ください
今回はPostgresSQLに格納しているこちらのデータを使います
➁ローカルLLMがPowerPointレポート生成
CSVの内容を元にローカルLLMがデータを解析し結果をPowerPoint資料に起こします
今回使うローカルLLMは、Google Gemma 2：9Bです。
このLLMモデルは、90億（9B）のパラメータ数を持ち、機械翻訳は非常に高く日本語の性能も高いです
DataSpiderの外部アプリケーション起動アダプターを使い事前に設定したGoogle Gemma 2：9Bを実行します。
Google Gemma 2：9B
実行するとCSVファイルのデータを解析してPowerPoint資料を生成します
Gemmaは無料で使えるのでコード生成に失敗しても内部で何度でも修正可能です
ローカルLLMならクラウドでは出来ない機能も使うことが出来ます
クラウドサービス(AWS Lambda、AzureFunction、GPTコードインタープリンター)の場合
日本語のPowerPointを生成したい場合は下記の問題がありました
・Pythonファイルサイズ超過
・Pythonライブラリが非対応
・そもそもGPTコードインタープリンターは追加でライブラリがインポートできない
➂生成レポートをBoxアップロード
ローカルLLM(Gemma)が作成したPowerPoint資料をBoxに格納します
DataSpiderにはBoxアダプタがある為、ファイル生成完了後にAPIでBoxにアップロード出来ます
実行するとBox上で生成されたファイルを確認出来ます
実行するとこのようになります
最後に
いかがでしたでしょうか
ここまで読んで頂きありがとうございます
DataSpider5はシステム間連携に特化しており、PostgresSQLやBoxとも容易に連携できます
また、ローカル上にあるシステムを起動させることも可能です
今回は、ローカルLLMでPowerPointを生成させる方法をご紹介しました。
日本語のPowerPointを作らせる専用のライブラリは、AWS LambdaやAzureFunctionでは非対応であったりファイルサイズが超過したりと問題が多く発生しますが
ローカルLLMならこの問題が解決します。
この記事の内容がみなさんの参考になれば「いいね」をおして頂けると嬉しいです。
ここまで読んでいただきありがとうございました。それでは、また！