2026年11月8日に、ローカルLLMでマイクラのBotを動かしたときのメモ。UbuntuのPC上でワールドとBotを動かして、ブラウザから日本語で指示を出した。最初に試したのは原木集め、短い移動、Botが撮った画像の説明。
構成
| 部品 | 今回使ったもの |
|---|---|
| ワールド | Minecraft Java専用サーバー 1.21.6、Java 21、Docker |
| Bot | Mindcraft+Mineflayer、Node.js 22、Docker。Andyを1体 |
| 会話・行動判断・画像 | ホストのOllamaで qwen3.5:9b。当時取得したのは Q4_K_M、モデルIDは 56671c2ab938
|
| 埋め込み | 同じOllamaで all-minilm。確認時は384次元 |
| 操作・会話画面 | http://127.0.0.1:18080/ |
| Bot視点 | http://127.0.0.1:13000/ |
Minecraft専用サーバーがブロック、時間、所持品などを管理する。Qwenが指示とゲームの状態からコマンドを選び、MindcraftがMineflayer経由で実行する。ブラウザで指示して観察するだけなら、Java版のクライアントを起動する必要はなかった。自分もプレイヤーとしてワールドに入る場合はJava版クライアントを使う。
普段の判断には座標・周囲のブロック・所持品などを使う。!lookAtPosition や !lookAtPlayer を呼んだときは、撮った画像をQwenにも渡す。操作画面で視点が見えている間ずっと、画像を送っているわけではない。
会話・画像推論・ゲーム操作はPC内。初回のモデルやソフトの取得にはネット接続を使った。ビューアのアイコン取得などで外部へのアクセスが発生する場合もある。
Mindcraft本家 · Minecraft Java専用サーバー
Ollamaを先に確認
ホストのOllamaでモデルを用意し、モデルIDと画像対応を確認する。
ollama pull qwen3.5:9b
ollama pull all-minilm
ollama list
ollama show qwen3.5:9b
curl -fsS http://127.0.0.1:11434/api/embed \
-H 'Content-Type: application/json' \
-d '{"model":"all-minilm","input":"原木を集める"}' |
python3 -c 'import json,sys; print(len(json.load(sys.stdin)["embeddings"][0]))'
qwen3.5:9b はタグなので、取り直したらIDと量子化を確認。Q4_K_Mを指定して取得するタグは qwen3.5:9b-q4_K_M。そちらを使うならプロファイルのモデル名も同じにする。
Qwen3.5 9B Q4_K_M · all-minilm · Ollamaの埋め込みAPI
ローカル構成を用意
ベースは mindcraft-bots/mindcraft の e1c1fc3ffa481506c2445fc639e16dba504b5920。今回動かしたのは、このコミットに手元の修正と local/ のCompose・起動スクリプトを足した構成。以下の local/ 付きコマンドは、その作業コピーで使ったもの。
- 新規の作業コピーでは
python3 local/setup.py --model qwen3.5:9bでプロファイルとCompose用のUID/GIDを作る。すでに用意したプロファイルがあればそのまま使う。 - Minecraftの利用規約を確認し、同意する場合は
python3 local/consent.pyを起動してhttp://127.0.0.1:18081/で本人が操作する。終わったら確認用のサーバーを閉じる。 -
python3 local/setup.py --prepare-serverで公式マニフェストから1.21.6のサーバーjarを取得。サイズと公式SHA-1が一致してから使った。手元のSHA-256も記録した。
Botの設定は local/settings.json。実際の主要項目はこのあたり。
{
"minecraft_version": "1.21.6",
"host": "minecraft",
"port": 25565,
"auth": "offline",
"allow_vision": true,
"render_bot_view": true,
"allow_insecure_coding": false,
"init_message": null
}
local/runtime/profile.json のモデル指定は次の形。視覚にも会話モデルが使われる設定にした。日本語で返すことと、コマンドの ! は半角のままにすることをプロンプトに足した。
{
"name": "Andy",
"model": {
"api": "ollama",
"model": "qwen3.5:9b",
"url": "http://host.docker.internal:11434",
"params": {
"think": false,
"options": {"num_ctx": 16384, "num_predict": 1024}
}
},
"embedding": {
"api": "ollama",
"model": "all-minilm",
"url": "http://host.docker.internal:11434"
}
}
- BotからゲームサーバーはCompose内の
minecraft:25565。サーバー側もonline-mode=falseにしたBot観察用の構成。ゲームポートはホストに公開しない。 - BotからホストのOllamaは
host.docker.internal:11434。LinuxのComposeではextra_hosts: ["host.docker.internal:host-gateway"]を指定した。名前が引けても、ホストのOllamaがループバックだけで待ち受けているとコンテナからは届かない。待受アドレスとファイアウォールを見て、Docker側から必要な接続だけ通す。 - Web UIとビューアは
127.0.0.1:18080:8080と127.0.0.1:13000:3000。LLMが書いたコードを実行する設定は無効のまま。
Minecraft EULA · Dockerのhost-gateway · Ollamaの待受設定
手元で直したところ
-
src/models/ollama.jsで、JPEGをbase64にして/api/chatのユーザーメッセージのimagesに入れる。コンテキスト超過で再試行するときも画像を引き継ぐ。埋め込みは/api/embedにinputを送り、embeddings[0]を使う。 - npmの依存が更新されると同梱パッチが外れたので、
mineflayer@4.33.0、minecraft-data@3.119.0、prismarine-viewer@1.33.0など、パッチ対象を固定。patch-package --error-on-failで、失敗したビルドをその場で止めた。 -
bots/を履歴保存用ディレクトリでマウントしたら、同じ場所のexecTemplate.jsとlintTemplate.jsが隠れて起動に失敗した。Composeでテンプレートを読み取り専用で個別にマウントした。 - Bot視点は1.21.6のワールドに対し、1.21.4向けの描画データを利用。一部の見た目にはずれがある。ブラウザ用のカメラにだけ角度補間を入れ、待機中の
idle_staringも無効化した。
起動と操作
準備済みの作業コピーのルートで、起動するときに使うコマンド。
docker compose --env-file local/.env -f local/compose.yaml config -q
bash local/start.sh
docker compose --env-file local/.env -f local/compose.yaml ps
docker compose --env-file local/.env -f local/compose.yaml logs --tail=80 minecraft bot
サーバーの起動とBotの参加をログで確認してから http://127.0.0.1:18080/ を開く。Andyの欄に指示を書いて Send またはEnter。Inventory で所持品を確認でき、Stop Action で今の作業を中断できる。画面の Stopped は自律作業を止めた状態で、入力欄から指示は送れる。
| 指示・確認項目 | 2026年11月8日の結果 |
|---|---|
| オークの原木を2個集めて |
!collectBlocks("oak_log", 2) を選んだ。所持品は0個から3個。採集はできたが、個数はずれた |
| 今いる場所から3ブロックほど離れて |
!moveAway(3) を選び、約3.05ブロック移動 |
| 北を向いて、画像で景色を説明して | 実際に撮ったJPEGをQwenへ入力。草・土・幹・葉を拾えた。カメラは足元寄りで、北向きの指示は達成できなかった |
長時間の自律サバイバルと複雑な建築は未検証。結果は返事だけで判断せず、位置・画像・所持品を見た。
Joining… に戻るとき
当時の Joining… は、操作画面との接続はあるが、Botがまだゲームに入っていない状態。しばらく遊んだ後に出たときは、BotとMinecraftの両方のログを同じ時刻で見る。
-
Invalid move player packet receivedでBotが切断されていた。不正とされた移動値までは特定できていない。 -
Illegal characters in chatも出た。直前の応答にタブ文字があり、これが原因の候補。 - 操作の停止に10秒以上かかってBotプロセスが終了した記録もあった。Botプロセスが再起動すると、画面は再び
Joining…になる。調べた区間ではMinecraftコンテナの再起動やOOM終了は記録されていなかった。
保存と停止
bash local/stop.sh
docker compose --env-file local/.env -f local/compose.yaml ps -a
docker compose --env-file local/.env -f local/compose.yaml logs --tail=60 minecraft
停止時は専用サーバーに stop が渡る構成。ログの All dimensions are saved を確認した。ワールドは local/runtime/server/world/、Botの履歴・画像は local/runtime/bots/Andy/。今回の環境はワールドと履歴を保存して停止し、保存済みの自律目標の自動再開も切った。ホストのOllamaは別に動かせる。
容量は当時の概算で、Qwen約6.55 GB、all-minilm約46 MB、Dockerイメージ約3.64 GB。主要データは合計で約10.4 GB。取得時のコピーやビルドキャッシュも足すと約33 GB相当だった。Dockerの共有レイヤーがあるので、ディスク使用量の増分とは一致しない。