はじめに
本記事はFugaku-LLMのお試し環境を構築するために、主に以下の2つの記事を参考にさせていただきながら手順や個人的にハマったところを記録したものになります。参考になれば幸いです。
①
②
環境構築に用いたマシンのスペック
2万円の再整備品でLLMを動かすには非常に低スペックです。
【 Windows 11Pro】第六世代 Core i5 6200u/メモリー8GB/SSD256GB
手順
Docker環境の整備
まず、①の記事の「Ollama + Open WebUIでGUI付きで動かす方法」によるとOpen Web UIはDockerを使うとのことだったので、Docker環境の整備から。
以下のページによるとDocker DesktopかRancher Desktopのどちらかを入れればよいとのことでした。
前者は250人以上の会社等はライセンスが必要とのことだったので、Rancher Desktopを使うことに決定。公式ページからWindowsのインストーラをダウンロードしてインストール開始。
インストール自体は問題なく完了したが起動しませんでした。以下参考になれば参照ください。
ハマったところ。
Rancher Desktopの起動中に"error: wsl.exe exited with code 4294967295"がでて起動が完了しない。
→ Windowsで仮想化が有効になっていないことが原因でした。BIOSの画面から有効化することで問題解消。
https://jp.minitool.com/news/enable-virtualization-windows-10.html
DockerからのOllamaの操作
本章の内容は基本的に①の記事の中ほどにあるコマンドを実行していくだけです。
まずはOllama環境を起動
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
llama3をダウンロード
docker exec -it ollama ollama pull llama3
llama3を実行し、コマンドプロンプトに対話画面が開き、チャットができればOK
docker exec -it ollama ollama run llama3
Fugaku LLM環境の設定
ここから②の記事の内容になります。
こちらも記事の以下の内容を実行すれば問題なく設定できるはずです。
(2) Fugaku-LLMのGGUFファイルをダウンロードする
(3) ollamaにFugaku-LLMを登録するためのモデルファイル（設定ファイル）を用意する
(4) ollamaにFugaku-LLMを登録する
ハマったところ(その１)
GGUFファイルおよびモデルファイルをホストコンピュータからdocker環境に送付する方法
→(2),(3)の手順はホストPC側でファイルの取得＆作成を行い、Docker側にコピーしました。コピーは以下コマンドで実行。
docker cp [ホスト側のファイルパス] ollama:[Docker側のファイルパス]
[具体例]
docker cp .\.ollama\Modelfile ollama:/tmp/Modelfile
ハマったところ(その２)
Dockerのコンテナ内のシェルへのアクセス
→ 以下のコマンドを実行し、シェルからコマンドで(4)の作業を行いました。
docker exec -it [コンテナ名] /bin/bash
[具体例]
docker exec -it ollama /bin/bash
動作確認
Open WebUIを起動して動作確認をします。
以下コマンド実行後、http://localhost:3000/ にアクセスするとWebUIのログイン画面が見えるはずです。
$ docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
WebUIのログイン方法、詳細な操作方法は割愛しますが、モデル選択の画面にFugakuが表示されれば成功です。
終わりに
余談ですが、ひ弱なノートPCで試したため、Fugakuを用いた場合、回答に1文字1分程度かかっていました💦でも一応動いていました！