はじめに
自宅のチャット相手にローカルLLMを使っています。
最初は、LLM Studioを使い、
次には、Docker Model Runner
で、最近、理由はわからないけど、チャット相手の反応が無いので、Geminiに相談したら、Ollmaを進められて、使ったことが無いので、Ollmaにしてみようかなーっと。
で、ついでに、今まではノートPCでDocker Model Runnerを使っていた。
で、10年前に買ったNVIDIA搭載のデスクトップがあるので、有効活用したく。こんな感じの構想。
Ollmaのセットアップ
ダウンロード、インストール
公式サイトからインストーラをダウンロード
インストール先のデフォルトがCドライブだったので、Dドライブに変更したく。
コマンドプロンプトから以下で実行。
.\OllamaSetup.exe /DIR="D:\app\ollama"
モデルの保存先を変更して、モデルダウンロード
環境変数に以下をセットして、モデルの保存先を変更
「OLLAMA_MODELS」で「D:\app\ollama\models」
以下コマンドでダウンロード
ollama pull qwen3:0.6b
ollama pull qwen3:1.7b
ollama pull qwen3:4b
※ うちのデスクトップPCでは結局、0.6b でした満足いくパフォーマンスが出ず。
外部から接続できるように変更
環境変数に以下をセット
「OLLAMA_HOST」で「0.0.0.0」
ログを出力先を変更
デフォルトだとCドライブにログが出力されてしまったので、Dドライブに変えたく。
以下のコマンドを実行
mklink /D "%LOCALAPPDATA%\Ollama" "D:\app\ollama\logs"
呼び元をOllmaに切り替える
こちらは元々LangChain4jを使っていたのですが、この際、Spring AI に移行してみよー！
って思い、移行したので別途記事を書く予定です。