(参考までに) 構成
稼働成功までの最短手順 (vLLM、llama.cpp両方)
1. [UEFI BIOSの設定]
1.1. [(UEFI BIOS上で)マザーボードの時刻合わせ]
1.2. [(UEFI BIOS上で)CPU内蔵のグラフィック(iGPU)をどうするか決める]
1.3. [(UEFI BIOS上で)CPUのダウンクロック、機能有効化・無効化など]
2. [Ubuntu 26.04 Desktop クリーンインストール]
2.1. [気を抜いてグラフィカルじゃなくてCLIで起動した？日本語文字化けするでしょ？]
2.2. [sudo systemctl isolate graphical.target で一時的にグラフィカルに]
3. [初期設定]
3.1. [apt更新、wifi設定、IP設定、SSH設定、ファイヤーウォール設定]
- [apt更新]
- [WiFi設定]
- [IP設定]
- [SSH設定]
- [ファイヤーウォール設定]
3.2. [CPU電力設定]
3.3. [ユーザー設定]
4. [LACTインストール、GRUBの編集]
4.1. [githubのLACTリポジトリからdebファイルダウンロードしてインストール]
4.2. [LACTでGPUの電力210W制限、ファンコントロールカーブ設定、ダウンクロック設定]
4.3. [起動時オーバークロック設定自動反映のためにGRUB編集]
4.4. [！！再起動で確認！！]
5. [ROCm 10の公式ドキュメントを見てROCm 10.0インストール]
5.1. [上のセレクターの罠に注意して、自分のGPUとOSが選択されていることを確認]
5.2. [gfx1201のものだけをインストール]
5.3. [rocm-smi lact cli での情報取得]
5.4. [LDの設定]
5.5. [！！再起動で確認！！]
6. [AI稼働、管理、カスタマイズに必要なものをインストール・設定]
6.1. [必要最低限なもの]
6.2. [あったら便利なもの]
7. [オープンウェイト(AIモデル)の事前ダウンロード]
7.1. [モデル用ディレクトリの作成]
7.2A. [vLLM用モデルダウンロード (Hugging Face: アカウント不要 - safetensors)]
7.2B. [llama.cpp用モデルダウンロード (Hugging Face: アカウント不要 - gguf)]
7.3. [(参考情報) Hugging Faceでのオープンウェイト(AIモデル)の探し方]
8. [vLLMの稼働]
8.1. [(vLLM) docker pullでエンジン取得(ダウンロード)]
8.2. [(vLLM) docker compose用設定ファイルの作成]
- 1. 基本情報・識別設定 (Identity & Basic)
- 2. ハードウェア・ネットワークアクセス設定 (Hardware & Network Access)
- 3. データ永続化と環境変数 (Data Persistence & Environment)
- 4. 実行されるコマンド (The Command)
8.3. [(vLLM) vLLM起動]
8.4. [(Open WebUI) docker pullでOpen WebUI取得(ダウンロード)]
8.5. [(Open WebUI) docker compose用設定ファイルの作成]
8.6. [(Open WebUI) 起動]
8.7. [vLLM + Open WebUIで動作確認]
9. [llama.cppの稼働]
9.1. [(llama.cpp) docker pullでエンジン取得(ダウンロード)]
9.2. [(llama.cpp) docker compose用設定ファイルの作成]
- 1. 基本情報・識別設定 (Identity & Basic)
- 2. ハードウェア・ネットワークアクセス設定 (Hardware & Network Access)
- 3. データ永続化と環境変数 (Data Persistence & Environment)
- 4. llama.cpp起動コマンドパラメータ
9.3. [(llama.cpp) llama.cpp起動]
9.4. [(llama.cpp) llama.cpp 動作確認]
9.5. [(llama.cpp) マルチモデル動的切り替え設定]
- 9.5.1. [(llama.cpp) マルチモデル用設定ファイル(.ini)作成]
- 9.5.2. [(llama.cpp) マルチモデル切り替え用docker-compose.yml作成]
- 9.5.3. [(llama.cpp) マルチモデル切り替え可能llama.cpp起動]
Radeon AI Pro R9700を導入してからやったこと(失敗含む)
失敗から得た知見