MacBookProのOllamaでgpt-ossに再チャレンジ

MacBook Pro(M1 Pro)で、gpt-ossがVRAMのメモリー不足で動作できなかったので別の方法(MacMini M4のOllama)をサーバー利用する事で再チャレンジします

環境

• サーバー側

  Mac Mini (2024)
  OS: macOS Sequoia 15.6 arm64
  CPU: Apple M4 (10) @ 4.46 GHz
  GPU: Apple M4 (10) @ 1.58 GHz [Integrated]
  Memory: 21.46 GiB / 32.00 GiB (67%)
  モデルは、外部SSDにロード
  

• クライアント側

  MacBook Pro (14-inch, 2021)
  OS: macOS Sequoia 15.6 arm64 
  CPU: Apple M1 Pro (8) @ 3.23 GHz
  GPU: Apple M1 Pro (14) @ 1.30 GHz [Integrated]
  Memory: 12.02 GiB / 16.00 GiB (75%)
  

• GUIクライアント(AnythingLLM¹)

AnythingLLMとは
AnythingLLMは、あらゆるドキュメント、会話、コンテンツをチャットボットに変えることができるオープンソースのツールです。簡単に言うと、ChatGPTのようなAIアシスタントのローカルでプライベートなバージョンで、自分のデータを使って動作します。

ネットではPythonを利用する場合の例が多く発見されますが、今回はAnythingLLMを利用して検証します

事前準備

1. サーバー側のOllamaのSettingを開きExpose Ollama to the networkを'On'の状態にします
   
2. クライアント側で、ブラウザーを開きhttp://[サーバーのIP]:11434/api/tagsサーバー側のモデルが返却されていることを確認します
   
3. AnythingLLMを開きます(初期のセットアップはここでは省きます)
4. 設定を開き以下の順で設定します
   • LLMプロバイダを'Ollama'を選ぶ
   • Ollama Base URLを`http://[サーバーのIP]:11434'を入力
   • Ollama Modelをセレクターボックスから'gpt-oss:20b'選択
     
     
   • 右上のSave changesボタンで保存
   • 左下ので設定画面を離れます

動作確認

• 「何ができますか」とリクエストする以下の結果が得られました(レスポンスには28秒ほど)
  
• 上の図の右側のウインドウのGPU Coresでローカルリソースが使われていない事がわかると思います
• "テスト駆動開発とは"をリクエストしました
  

所感

リソースに余裕のある環境が同一ネットワークに用意出来れば、これもありかなと感じました。
今回は、Ollamaで検証しましたが、Ollamaでは利用できないモデル(MLX 版)の場合LM Studioをサーバーにする方法もあります。

1. brew install --cask anythingllmでインストール ↩