pythonコード2行でカスタムモデルのOllamaサーバーを起動できるoyamaを作ってみた

GoogleColabでOllamaを使うときの面倒な設定を一発で解決！pythonコード2行でカスタムモデルのOllamaサーバーを起動できる最強ラッパーoyamaを作ったぞ！

ollamaのためのラッパーで、ローカルモデルを一発起動でき、URLを指定してモデルをロードできます。
(現状Linuxのみサポートしていますが、WindowsやMacでもollamaコマンドが使える状態であれば、動くはずです)

はじめに

Ollamaは、ローカルにインストールしたカスタムモデルを使ってAIアシスタントを実行できる素晴らしいツールです。しかし、モデルをロードしてサーバーを起動するのが少し面倒でした。

モデルをダウンロードして解凍
特定のフォルダに置く
起動コマンドを実行

このような手順を経る必要がありました。カスタムモデルを試したくてもこの手順が面倒で二の足を踏んでしまう人も多いはずです。

oyamaでできること

カスタムモデルを指定してOllamaサーバーを一発起動
モデルをURLから直接ロード可能
と、めっちゃ便利！

GoogleColabサンプル

手軽に試したい方にGoogleColabのサンプルノートブックも用意しました

インストールと使い方

インストール

pip install git+https://github.com/HawkClaws/oyama.git ollama

使い方

from oyama import oyama
import ollama

# Hugging Faceなどのguffのモデルリンクの指定
model_name = oyama.run("https://huggingface.co/mmnga/cyberagent-calm2-7b-chat-gguf/resolve/main/cyberagent-calm2-7b-chat-q8_0.gguf?download=true")

response = ollama.chat(model=model_name, messages=[
  {
    'role': 'user',
    'content': '日本でお薦めの観光地を5つあげてください。',
  },
])
print(response['message']['content'])

モデルリンクの取得方法

おわりに

oyamaを使えばOllamaがぜんぜん手軽に使えるようになりました!
カスタムモデルの乱立に困ることはないでしょう。
みなさんもOllamaとoyamaでAIモデルの汎用性を楽しんでみてください!