ども@s_hirokiです。
株式会社ディーメイクに所属して、主にSES界隈でシステムエンジニアとして要件定義～設計～実装の仕事をしてます。
最近はPdMにもチャレンジしています。
この度ディーメイクとしてOrganizationの登録をしたので定期的にブログ執筆のチャレンジをしていこうと思ってます。
拙い文章になると思いますが、どうぞよろしくお願いいたします。
はじめに
昨今、AIが広がっている影響でメモリが高騰しているという記事を見かけます。
その影響で少なくとも数年はPCが値上がりしていくんじゃないか。なんて話も聞きます。
使っているPCも古くなってきたのでこのタイミングでPCを買っておこうと決断しました。
どうせ買うなら興味のあったローカルLLMを構築して使ってみたいなって思いましたので、導入までの手順を書き残していきます。
LM Studioは商用利用もOKとのことなので、ビジネスシーンでも使えそうで良いですね。
類似サービスとしてOllamaというのもあるみたい。
Ollamaも商用利用はOKみたいでした。
購入したPC
まず購入したPCは以下の通りです。
GMKtecのK12のメモリ64GBのSSD1TBのタイプのミニPCを買いました。
コンパクトなので、あまり置き場所に困らずGoodです
今見ると18万円ほどしてますが、年末のセール時に買ったので10万円ほどで買えました。
それにしても値上がり幅がキツイですね…。
LM Studioのインストール・初期設定
まずは以下のサイトからLM Studioをダウンロードしてインストールしました。
今回ダウンロードしたものはLM-Studio-0.3.37-1-x64.exeでした。
インストールは何も問題なく「次へ」を押していって完了。
(すべてのユーザーでインストールしました)
インストールして起動するとこんな画面
Get Startedを押して次へ
levelは3つから選択できる。
上記のようなので、developを選択してみました。
最初のmodelを選んでって出てるけど、gpt-ossしか選択できない？けど入れようと思っていたモデルだったのでダウンロードしてみました。12GBくらいあるのでそこそこ時間かかりました。
Additional Settingsはログイン時にこのLLMを起動しとくかを聞いてるぽく、デフォルトでチェックがついていましたが、今回はチェックを外しました。
ダウンロードが終わったらStart a New Chatを押してスタート。
こんな感じの画面になって始まりました。
まずは利用するモデルを選択します。
１つしかないのでgpt-oss-20Bを選択します。
ChatGPTとかと同じように赤枠のとこにやってほしいことを書くとAIが回答をくれる形になります。
このように特に悩むこともなく導入することができました。
モデルの確認
赤枠のMy Modelsを選択するとダウンロードしてるモデルが確認できました。
モデルの追加
赤枠のDiscoverを選択するとダウンロードできるモデルの一覧が表示されるので選択して右下のDownloadを押すことで追加できます。
おわりに
LM Studioを導入して、AIとやりとりできるところまでを解説しましたがいかがだったでしょうか。
とても簡単にローカルLLMを導入出来ますね。
しかもPCと電気代のみで無制限に使えるというのが魅力かなと思ってます。
(能力はもちろん主流のLLMと比較すると劣りますが)
次はサーバー化して外出先等で利用できるように構築を進めてみたいと思います。
最後までお読みいただきありがとうございました。