ローカルLLMをやってみたいを抑えられないなら始める
- とはいっても別にチャットをしたいわけではない。
-
Cloudでやるまでもないあえてローカルでやりたい！ - RAGに興味ある（とりあえずやってみたい）
- ollamaジャナイ方法でやってみる（あえて）
環境
- OS：ubuntu 24.04 (not WSL）
- CPU：ryzen9 9900x
- mem：64 Gib
- GPU：RTX 5070 (12Gib)
LM Studio
注意事項：LM Studioはproxyに対応していません。
proxy必須の環境での利用では苦労するかもしれません。
以下からダウンロードしてください。
https://lmstudio.ai/
ubuntuなので上部のDownloadから。
OS等を選択しDLする。
※現在最新v0.3.18
- ダウンロードした「LM-Studio-0.3.17-11-x64.AppImage」をプログラムとして実行可能にチェックをするか
- chmod 775して実行権限を付ける。
AppImageファイルをダブルクリックで実行。
Model ダウンロード起動
- LM Studioが起動したら画面のアイコン
マークを押して、モデルを導入する。 - ここで使いたいのは、"google/gemma-3-4b"なので検索しdownloadします
- ダウンロードしたあとに、左アイコンのマイモデル
を見てみるとダウンロードしたモデルがあるはず。
Server 起動
-
左メニューの開発者（developer）
を表示し、 -
Status Runningをクリックしサーバを起動します。
AnythongLLM
AnythongLLMはdesktop版を使用します。
ダウンロードとインストール
ダウンロードは公式にある通り下記コマンドでできます。
curl -fsSL https://cdn.anythingllm.com/latest/installer.sh | sh
- インストールが終わると、/AnythingLLMDesktop/start ファイルができているのでこれを実行します。
- 初回起動時に、LLMの設定等を聞いてきますが後からでも変更可能です。
設定
- メイン画面の左下部にあるスパナマークから設定を行います。
LLMの設定
- LM Studioを選択、model は gemma 3 4bを選択して保存
ベクターデータベース
- デフォルトであるLanceDBを選択してください。
埋め込み設定
-
埋め込みプロバイダーは、LM Studioを選択
-
Embedding Modelは、text-enbedding-nomic-embed-text-v1.5を選択
-
他はとりあえずデフォルトのまま
-
テキスト分割とチャンク化はデフォルトのままにしています。
動作確認
-
ワークスペースがない場合、「新しいワークスペース」から作成
-
ワークスペースのチャットで、「プラモ狂四郎はどんな話？」と聞いてみます。
- 案の定、適当な答えを返してきます。
Embedding
-
「プラモ狂四郎」に関する情報を与えるため、wikipediaのページをデータコネクタで読み取ります。
https://ja.wikipedia.org/wiki/%E3%83%97%E3%83%A9%E3%83%A2%E7%8B%82%E5%9B%9B%E9%83%8E
-
スクレイピングが終わったら、ドキュメントタブを開き読み込んだドキュメントを選択し、ワークスペースへ移動を選択
- ドキュメントがワークスペース（右）に移動したら
- 保存して埋め込むボタンを押します。
- 少し待つとembeddingしてくれるので処理が終わったら、再度同じ質問をしてみます。
- 結構まともな回答になり、Hide citationsに引用内容がでるようになりました。
感想とか
- とりあえず動くところまでは確認できた
- 色々確かめながらやりましたが、見落とし等あるかもしれません
- どの程度のドキュメント量をどの程度で返せるか大量データでやってみたい（迷惑かけない範囲で）
- modelを変えることで精度がどう変わるか
- gemma3は便利だった
- LM StudioもAnythingLLMもまだまだ発展途上なのでこれからに期待
- AnythingLLMは色々と機能が多いので使いこなしたい