2
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

「node-red-contrib-ollama」を使って Node−RED で Ollama を使ったローカルLLM

Posted at

はじめに

以前から MLX LMMLX-VLM を使ったローカルLLM をよく試していたのですが、最近 Ollama も試し始めました。

そんな中、Node-RED で Ollama を扱う時に使うと便利な、以下の「node-red-contrib-ollama」を見かけたので、軽く試してみました。

●node-red-contrib-ollama (node) - Node-RED
 https://flows.nodered.org/node/node-red-contrib-ollama

image.png

試す環境・モデル

今回の内容を試す環境は以下の記事に書いた時のものと同じで、具体的にはこの後に列挙した内容です。

実際に試してみる

それでは実際に試していきます。

利用可能なノード

まずは「node-red-contrib-ollama」で利用可能なノードの情報を見てみます。

image.png

ノードの種類はけっこう多いです。

今回はテキストでのちょっとしたやりとりを試してみるだけなので、chat か generate のどちらかを使う感じになりそうです。

ノードを追加する

それでは、Node-RED を起動してノードを追加します。

以下は、起動済みの Node-RED でメニューを開いたところです。「パレットの管理」を選びます。

image.png

「ノードの追加」でキーワードを入れてノードを検索します。以下は ollama というキーワードを入れた状態です。

image.png

「node-red-contrib-ollama」が出てきたので、それを選んで追加しました。

ノードを追加した後の状態

以下のように、ノードを追加できました。

image.png

この後は、「ollama-generate」を使ってお試しを進めていきます。

フローを作る

ノードを追加できたのでフローを作ります。以下のようなシンプルな構成にしました。

image.png

ノードの設定

「ollama-generate」ノードの設定を追加します。

以下のように、Format・Model・Prompt の部分を設定しました。Model で入力している Gemma 3 のモデルは、Ollama自体のお試しで動作確認ができているものです(その際、モデルもダウンロード済み)。

image.png

さらに、以下の Server の設定を追加します。

image.png

設定を開いたらデフォルトで以下が入力されています。このままの内容で追加します。

image.png

Server の設定追加後は、「node-red-contrib-ollama」ノードの設定は以下のようになりました。

image.png

あとは、「node-red-contrib-ollama」ノードの前につなげている「Inject」ノードの設定を少し編集します。 msg.payload にテキストを入力できるように設定し、テキストとして Ollama にわたすプロンプトを入れています。

image.png

デプロイと処理の実行

あとはデプロイをして、処理を実行します。処理を実行した結果は以下のとおりです。

image.png

無事、デバッグ出力に Ollama からのレスポンスが返ってきているのが確認できました。

2
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?