仕事で使うために勉強で買いました
最初に失敗したこと
USB-C のキーボードと、USB-Cのマウスがないと初期の設定が完了どころかログインすらできない!!!!
linuxだからキーボードだけでいいと思っていたらマウスも必要でした
持ってないので急いでUSB-Cのハブを注文しました……
モデルを動かせすためのコンテナをインストール
- podmanをインストール
sudo apt update && sudo apt upgrade -y
sudo apt install podman -y
podman --version
podman version 4.9.3
ここまでOK
次は nvidia-container-toolkit
参考
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/1.13.5/nvidia-podman.html?utm_source=chatgpt.com
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
&& curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \
&& curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
これをしたら404で、nvidia-container-toolkit.list が htmlになってしまったので
削除してから、インストールの再試行しました
sudo rm /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt install -y nvidia-container-toolkit
sudo rboot
$ nvidia-smi
Sat Apr 11 23:27:04 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.142 Driver Version: 580.142 CUDA Version: 13.0 |
+-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GB10 On | 0000000F:01:00.0 Off | N/A |
| N/A 38C P8 4W / N/A | Not Supported | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| 0 N/A N/A 2500 G /usr/lib/xorg/Xorg 66MiB |
| 0 N/A N/A 2837 G /usr/bin/gnome-shell 15MiB |
+-----------------------------------------------------------------------------------------+
ようやく出ました
ただ単にrebootが必要なだけでした
sudo nvidia-ctk cdi generate --output=/etc/cdi/nvidia.yaml
次はpodmanでコンテナ動かすためにこれ
podman run --rm -it \
--name ollama-test \
--device nvidia.com/gpu=all \
--security-opt label=disable \
-e OLLAMA_HOST=0.0.0.0:11434 \
-v ollama_data:/root/.ollama \
-p 11434:11434 \
docker.io/ollama/ollama:latest
別ターミナルを起動してモデルを指定してollamaの起動
podman exec -it ollama-test ollama run gemma4:e2b
次に別PCでVScodeでRoo Codeの設定をします
APIプロバイダー Ollama
ベースURL http://gxのIP:11434
Ollama APIキー 空
モデル gemma4:e2b
コンテキストウィンドウサイズ 32768
一旦これだけで、動きました
podmanの起動でrmになってるので、一度止めると消えちゃうから残るようにしないと
とりあえず初期設定はここまでです