【ローカル SLM 編】機密情報が漏れるのが怖い？じゃあローカルでL(S)LMを動かせばいいじゃない

目的

皆さん、生成AIを使っていますよね？
ChatGPTやClaudeといった生成AIが世に出てからもうしばらく経ちました。
今や何をするにも生成AIを活用する環境になってきたかと思います。

その時に課題となってくるのが機密情報の取り扱いになるかと思います。
先に上げたブラウザ上やAPI経由で扱う生成AIは、どうしてもやり取りの内容がネット上を経由してしまいます。
加えて、モノによってはやり取りの内容をモデルの学習に使われてしまうのではといった不安もあるかと思います。

機密性での不安から業務活用へ踏み出せない。。。

ここで本日の目的

じゃあローカルでL(S)LMを動かせばいいじゃない

環境

本日扱うのはこちら
LM Studio

手順

LM Studio のインストール

まずローカルで言語モデルを動かすためのツールであるLM Studioをインストールします。
LM StudioはUIが充実しており、初めてLLMを動かす方にオススメなものになります。

モデルのダウンロード

アプリ起動後、サイドバーから検索マークを選択してください。

検索窓に[TinySwallow」と入力してください。
いくつか候補が出てきますが、今回はSakanaAIのモデル「TinySwallow-1.5B-Instruct-GGUF」をダウンロードします。

TinySwallowとは
sakana.aiが開発した日本語対応済みの小規模言語モデル（SLM）です。
ローカルPCでも十分に動くサイズ感のモデル！
詳細はこちら↓
https://sakana.ai/taid-jp/

チャットを開始する

インストール完了後、サイドメニューのチャットを開いて下さい。
画面上部の「Select a model to load」より先ほどダウンロードした「TinySwallow-1.5B-Instruct-GGUF」を選択します。

あとはチャットを使って質問をしてみましょう。
今回利用しているモデルは軽量のものになりますので、ローカルPCでもそれなりの速度で回答を得られるかと思います。

まとめ

近年、スマートフォンなどのエッジデバイスで運用できるレベルの小規模言語モデル（SLM）が開発されてきています。
その分、大規模言語モデル（LLM）と比べると性能はまだまだ劣ってしまいますが、現時点でも特定の領域・タスクに特化した活用方法であれば軽量かつ低コストという大きな恩恵が得られるかと思います。

モデルごとに得意・不得意の領域があるので、自分に合ったモデルを見つけつつ是非ローカルでも動かしてみてください。

これで機密性の不安から生成AIは使わないという言い訳はできなくなりましたね。

仲間を募集しています！

ARIではエンジニア・ITコンサルタント・PM職全方位で仲間を募集しております。
カジュアル面談、随時受付中です！
ご興味ある方はこちらをご覧ください。