0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Mindcraft導入メモ(Ollama+Qwen3.5 9B)

0
Posted at

2026年11月8日に、ローカルLLMでマイクラのBotを動かしたときのメモ。UbuntuのPC上でワールドとBotを動かして、ブラウザから日本語で指示を出した。最初に試したのは原木集め、短い移動、Botが撮った画像の説明。

構成

部品 今回使ったもの
ワールド Minecraft Java専用サーバー 1.21.6、Java 21、Docker
Bot Mindcraft+Mineflayer、Node.js 22、Docker。Andyを1体
会話・行動判断・画像 ホストのOllamaで qwen3.5:9b。当時取得したのは Q4_K_M、モデルIDは 56671c2ab938
埋め込み 同じOllamaで all-minilm。確認時は384次元
操作・会話画面 http://127.0.0.1:18080/
Bot視点 http://127.0.0.1:13000/

Minecraft専用サーバーがブロック、時間、所持品などを管理する。Qwenが指示とゲームの状態からコマンドを選び、MindcraftがMineflayer経由で実行する。ブラウザで指示して観察するだけなら、Java版のクライアントを起動する必要はなかった。自分もプレイヤーとしてワールドに入る場合はJava版クライアントを使う。

普段の判断には座標・周囲のブロック・所持品などを使う。!lookAtPosition や !lookAtPlayer を呼んだときは、撮った画像をQwenにも渡す。操作画面で視点が見えている間ずっと、画像を送っているわけではない。

会話・画像推論・ゲーム操作はPC内。初回のモデルやソフトの取得にはネット接続を使った。ビューアのアイコン取得などで外部へのアクセスが発生する場合もある。

Mindcraft本家 · Minecraft Java専用サーバー

Ollamaを先に確認

ホストのOllamaでモデルを用意し、モデルIDと画像対応を確認する。

ollama pull qwen3.5:9b
ollama pull all-minilm
ollama list
ollama show qwen3.5:9b

curl -fsS http://127.0.0.1:11434/api/embed \
  -H 'Content-Type: application/json' \
  -d '{"model":"all-minilm","input":"原木を集める"}' |
  python3 -c 'import json,sys; print(len(json.load(sys.stdin)["embeddings"][0]))'

qwen3.5:9b はタグなので、取り直したらIDと量子化を確認。Q4_K_Mを指定して取得するタグは qwen3.5:9b-q4_K_M。そちらを使うならプロファイルのモデル名も同じにする。

Qwen3.5 9B Q4_K_M · all-minilm · Ollamaの埋め込みAPI

ローカル構成を用意

ベースは mindcraft-bots/mindcraft の e1c1fc3ffa481506c2445fc639e16dba504b5920。今回動かしたのは、このコミットに手元の修正と local/ のCompose・起動スクリプトを足した構成。以下の local/ 付きコマンドは、その作業コピーで使ったもの。

  1. 新規の作業コピーでは python3 local/setup.py --model qwen3.5:9b でプロファイルとCompose用のUID/GIDを作る。すでに用意したプロファイルがあればそのまま使う。
  2. Minecraftの利用規約を確認し、同意する場合は python3 local/consent.py を起動して http://127.0.0.1:18081/ で本人が操作する。終わったら確認用のサーバーを閉じる。
  3. python3 local/setup.py --prepare-server で公式マニフェストから1.21.6のサーバーjarを取得。サイズと公式SHA-1が一致してから使った。手元のSHA-256も記録した。

Botの設定は local/settings.json。実際の主要項目はこのあたり。

{
  "minecraft_version": "1.21.6",
  "host": "minecraft",
  "port": 25565,
  "auth": "offline",
  "allow_vision": true,
  "render_bot_view": true,
  "allow_insecure_coding": false,
  "init_message": null
}

local/runtime/profile.json のモデル指定は次の形。視覚にも会話モデルが使われる設定にした。日本語で返すことと、コマンドの ! は半角のままにすることをプロンプトに足した。

{
  "name": "Andy",
  "model": {
    "api": "ollama",
    "model": "qwen3.5:9b",
    "url": "http://host.docker.internal:11434",
    "params": {
      "think": false,
      "options": {"num_ctx": 16384, "num_predict": 1024}
    }
  },
  "embedding": {
    "api": "ollama",
    "model": "all-minilm",
    "url": "http://host.docker.internal:11434"
  }
}
  • BotからゲームサーバーはCompose内の minecraft:25565。サーバー側も online-mode=false にしたBot観察用の構成。ゲームポートはホストに公開しない。
  • BotからホストのOllamaは host.docker.internal:11434。LinuxのComposeでは extra_hosts: ["host.docker.internal:host-gateway"] を指定した。名前が引けても、ホストのOllamaがループバックだけで待ち受けているとコンテナからは届かない。待受アドレスとファイアウォールを見て、Docker側から必要な接続だけ通す。
  • Web UIとビューアは 127.0.0.1:18080:8080 と 127.0.0.1:13000:3000。LLMが書いたコードを実行する設定は無効のまま。

Minecraft EULA · Dockerのhost-gateway · Ollamaの待受設定

手元で直したところ

  • src/models/ollama.js で、JPEGをbase64にして /api/chat のユーザーメッセージの images に入れる。コンテキスト超過で再試行するときも画像を引き継ぐ。埋め込みは /api/embed に input を送り、embeddings[0] を使う。
  • npmの依存が更新されると同梱パッチが外れたので、mineflayer@4.33.0、minecraft-data@3.119.0、prismarine-viewer@1.33.0 など、パッチ対象を固定。patch-package --error-on-fail で、失敗したビルドをその場で止めた。
  • bots/ を履歴保存用ディレクトリでマウントしたら、同じ場所の execTemplate.js と lintTemplate.js が隠れて起動に失敗した。Composeでテンプレートを読み取り専用で個別にマウントした。
  • Bot視点は1.21.6のワールドに対し、1.21.4向けの描画データを利用。一部の見た目にはずれがある。ブラウザ用のカメラにだけ角度補間を入れ、待機中の idle_staring も無効化した。

Ollamaの画像入力仕様

起動と操作

準備済みの作業コピーのルートで、起動するときに使うコマンド。

docker compose --env-file local/.env -f local/compose.yaml config -q
bash local/start.sh
docker compose --env-file local/.env -f local/compose.yaml ps
docker compose --env-file local/.env -f local/compose.yaml logs --tail=80 minecraft bot

サーバーの起動とBotの参加をログで確認してから http://127.0.0.1:18080/ を開く。Andyの欄に指示を書いて Send またはEnter。Inventory で所持品を確認でき、Stop Action で今の作業を中断できる。画面の Stopped は自律作業を止めた状態で、入力欄から指示は送れる。

指示・確認項目 2026年11月8日の結果
オークの原木を2個集めて !collectBlocks("oak_log", 2) を選んだ。所持品は0個から3個。採集はできたが、個数はずれた
今いる場所から3ブロックほど離れて !moveAway(3) を選び、約3.05ブロック移動
北を向いて、画像で景色を説明して 実際に撮ったJPEGをQwenへ入力。草・土・幹・葉を拾えた。カメラは足元寄りで、北向きの指示は達成できなかった

長時間の自律サバイバルと複雑な建築は未検証。結果は返事だけで判断せず、位置・画像・所持品を見た。

Joining… に戻るとき

当時の Joining… は、操作画面との接続はあるが、Botがまだゲームに入っていない状態。しばらく遊んだ後に出たときは、BotとMinecraftの両方のログを同じ時刻で見る。

  • Invalid move player packet received でBotが切断されていた。不正とされた移動値までは特定できていない。
  • Illegal characters in chat も出た。直前の応答にタブ文字があり、これが原因の候補。
  • 操作の停止に10秒以上かかってBotプロセスが終了した記録もあった。Botプロセスが再起動すると、画面は再び Joining… になる。調べた区間ではMinecraftコンテナの再起動やOOM終了は記録されていなかった。

保存と停止

bash local/stop.sh
docker compose --env-file local/.env -f local/compose.yaml ps -a
docker compose --env-file local/.env -f local/compose.yaml logs --tail=60 minecraft

停止時は専用サーバーに stop が渡る構成。ログの All dimensions are saved を確認した。ワールドは local/runtime/server/world/、Botの履歴・画像は local/runtime/bots/Andy/。今回の環境はワールドと履歴を保存して停止し、保存済みの自律目標の自動再開も切った。ホストのOllamaは別に動かせる。

容量は当時の概算で、Qwen約6.55 GB、all-minilm約46 MB、Dockerイメージ約3.64 GB。主要データは合計で約10.4 GB。取得時のコピーやビルドキャッシュも足すと約33 GB相当だった。Dockerの共有レイヤーがあるので、ディスク使用量の増分とは一致しない。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?