背景
ChatGPTなどで盛り上がった昨年、AIにあまり興味がなく横目で見るだけだった。
今更になって興味が出てきたが、入力したデータを学習に使われたりするのが気になる。
なので今回は「オフライン使用可能なChat AI環境」を作って遊んでみる。
実施環境 (PCスペック)
MacBook Pro (2021年モデル)
CPU: Apple M1 Pro
System Version: macOS 14.2.1 (23C71)
Memory: 32 GB
環境構築
LM Studio
https://lmstudio.ai
大規模言語モデル(LLM)を動かすためのアプリケーション
2024/01/05現在でMac / Windows / Linux(Beta)に対応している
MacでMetal(GPU)が使えるようなのでこれにした
参考記事にさせていただいた記事
商用利用プランは準備中らしい 今回は私的利用を想定しているので問題ないはず
Can I use LM Studio at work?
Business use will be possible and is planned! As we get started, we ask you to reach out to the team at team@lmstudio.ai. Please allow us some time to respond.
インストールはDMGファイルを落としてドラッグ&ドロップで終わり。
使用するモデルを決める
LLMについて色々情報をまとめてくださっているサイトを発見
そこで気になったOpenChat-3.5を使ってみることにします
他にも色々なモデルの紹介、比較をされている神サイトなので気になる方は是非覗いてください
モデルのダウンロード&インストール
LM Studioを起動するとこんな画面が出ます
画面左のツールバーにある虫眼鏡アイコンを押すとモデルの検索ができます
ここで画面上部検索バーにopenchatと入力すると以下のように結果が出ます
私は今回TheBloke/openchat-3.5-1210-GGUFを使うことにしました
各モデルに量子化の方法?が異なるいくつかのバリエーションがありますが、RecommendになっているQ5_K_Mをダウンロードしました
ダウンロード完了後、画面左のツールバーにある吹き出しマークを押してチャット画面に移ります
ここで画面上部にあるプルタブから使用するモデルを選択できますので、先ほどダウンロードしたopenchatを選択します
あとは画面下部のテキストボックスからAIに聞きたいことを書いて会話ができます
(最後急に英語喋るやん)
GPUを使いたい場合には画面右のUse Apple Metal (GPU)にチェックをつけるだけでOKです
〆
初めてまともにChat系AIを使いましたが、想像以上に楽しいです。
いろいろな知識を持っている人(AI)をローカルマシンで動かせるなんてすごいなぁ・・・
CPUやメモリはそれなりに喰いますが、使うモデルや設定をもう少し詰めてみたいです。
LM Studioはローカルサーバーとしての機能も使えるため、今後は他のアプリケーションとの連携とかもしてみたい