ollamaのインストール
以下のURLよりollamaをインストールします。インストール後に起動するとステータスバーにllamaのアイコンが現れます。
https://ollama.com/download
インストール後、以下のようにllama3.2モデルのインストールを促されたため、サンプルとして実行。
ollama run llama3.2
プラグインのインストール
以下の通り設定する
http://host.docker.internal:11434
一旦推論モデルに追加したllama3.2を設定しておく。
業務用AIフローの作成
この章からは実際にollamaを用いてAIの実行フローを作っていきます。
空白のフローの作成
スタジオ > アプリを作成する(最初から作成) > ワークフロー を選択します。
作成後は以下の空白のフローが構築されます。
これで、Promptという変数にユーザの入力値を格納し、LLMに引き渡すことができるようになりました。
LLMブロックの作成
開始ブロックの+アイコンをクリックし、LLMブロックを追加します。
追加したLLMブロックの値を以下の通りに入力します。
この値やパラメータは目的に合わせてチューニングしても構いません。
設定値の補足
SYSTEM
LLMへの事前指示を入力します。
今回はインプットを「動物」「食べ物」「人名」に分類する分類器を作成するので、以下のテキストを入れてください。
あなたは優秀な分類器です。次のインプットを「動物」「食べ物」「人名」のいずれかに区分してください。
当てはまるものがない場合でも、最も近いものを選んでください。応答は区分名のみとしてください。
USER
LLMへのインプット部分です。
開始ブロックで作成したPrompt変数の値をLLMにいれるため、Promptを入力にしています。
終了ブロックの追加
LLMブロックの先に終了ブロックを追加します。
LLMの処理結果を受け取るため、出力変数を設定しLLMの出力(LLM/text)を設定します。
ツールの公開と起動
ツールを公開します。といっても、ローカル環境なのでPCの外部から見える状態にはなりません。
右上の”公開する”ボタンをクリックし、"アプリを実行"をクリックします。
起動後、以下の画面が出れば実装完了です！
この状態でもChatBotのように使うことができますが、RunBatchでcsvファイルをインプットとしてまとめて処理することもできるようになっています。
インプットファイルのフォーマットはDownload the template hereボタンで入手でき、手厚い仕様になっています。