はじめに

本記事はFugaku-LLMのお試し環境を構築するために、主に以下の2つの記事を参考にさせていただきながら手順や個人的にハマったところを記録したものになります。参考になれば幸いです。

①

②

環境構築に用いたマシンのスペック

2万円の再整備品でLLMを動かすには非常に低スペックです。

【 Windows 11Pro】第六世代 Core i5 6200u/メモリー8GB/SSD256GB

手順

Docker環境の整備

まず、①の記事の「Ollama + Open WebUIでGUI付きで動かす方法」によるとOpen Web UIはDockerを使うとのことだったので、Docker環境の整備から。
以下のページによるとDocker DesktopかRancher Desktopのどちらかを入れればよいとのことでした。

前者は250人以上の会社等はライセンスが必要とのことだったので、Rancher Desktopを使うことに決定。公式ページからWindowsのインストーラをダウンロードしてインストール開始。
インストール自体は問題なく完了したが起動しませんでした。以下参考になれば参照ください。

ハマったところ。
Rancher Desktopの起動中に"error: wsl.exe exited with code 4294967295"がでて起動が完了しない。
　→ Windowsで仮想化が有効になっていないことが原因でした。BIOSの画面から有効化することで問題解消。

https://jp.minitool.com/news/enable-virtualization-windows-10.html

DockerからのOllamaの操作

本章の内容は基本的に①の記事の中ほどにあるコマンドを実行していくだけです。

まずはOllama環境を起動

Ollama環境の起動.

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

llama3をダウンロード

llama3のダウンロード.

docker exec -it ollama ollama pull llama3

llama3を実行し、コマンドプロンプトに対話画面が開き、チャットができればOK

llama3の実行.

docker exec -it ollama ollama run llama3

Fugaku LLM環境の設定

ここから②の記事の内容になります。
こちらも記事の以下の内容を実行すれば問題なく設定できるはずです。

(2) Fugaku-LLMのGGUFファイルをダウンロードする
(3) ollamaにFugaku-LLMを登録するためのモデルファイル（設定ファイル）を用意する
(4) ollamaにFugaku-LLMを登録する

ハマったところ(その１)

GGUFファイルおよびモデルファイルをホストコンピュータからdocker環境に送付する方法
→(2),(3)の手順はホストPC側でファイルの取得＆作成を行い、Docker側にコピーしました。コピーは以下コマンドで実行。

ホストPCとDockerコンテナ間のファイルコピー.

docker cp [ホスト側のファイルパス] ollama:[Docker側のファイルパス]
[具体例]
docker cp .\.ollama\Modelfile ollama:/tmp/Modelfile

ハマったところ(その２)

Dockerのコンテナ内のシェルへのアクセス
→ 以下のコマンドを実行し、シェルからコマンドで(4)の作業を行いました。

Dockerコンテナのシェルへのアクセス.

docker exec -it [コンテナ名] /bin/bash
[具体例]
docker exec -it ollama /bin/bash

動作確認

Open WebUIを起動して動作確認をします。
以下コマンド実行後、http://localhost:3000/ にアクセスするとWebUIのログイン画面が見えるはずです。

$ docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

WebUIのログイン方法、詳細な操作方法は割愛しますが、モデル選択の画面にFugakuが表示されれば成功です。

終わりに

余談ですが、ひ弱なノートPCで試したため、Fugakuを用いた場合、回答に1文字1分程度かかっていました💦でも一応動いていました！