はじめに
Bonsaiという超軽量LLMがあったので触ってみました。
- カリフォルニア工科大学（Caltech）発のスタートアップ PrismMLが発表した1-bit大規模言語モデル
- 80億パラメータをわずか 1.15GB に収めている
- 「ニューラルネットワークの推論能力を失わずに圧縮する数学的理論」に基づいている
インストール
公式リポジトリのREADME.mdに従い、インストール。今回はWSLを使用。Windowsはおすすめしません。どうせ後で.shファイルを実行しないといけないため。
git clone https://github.com/PrismML-Eng/Bonsai-demo.git
cd Bonsai-demo
# (Optional) Choose a model size: 8B (default), 4B, or 1.7B
export BONSAI_MODEL=8B
# One command does everything: installs deps, downloads models + binaries
./setup.sh
問題発生
README.mdにあるように./scripts/run_llama.sh -p "What is the capital of France?"を実行するとエラーが発生しました。
root@alamo:/home/user/projects/bonsai/Bonsai-demo# ./scripts/run_llama.sh -p "What is the capital of France?"
[OK] Model: models/gguf/8B/Bonsai-8B.gguf
[OK] Binary: /home/user/projects/bonsai/Bonsai-demo/bin/cuda/llama-cli
[OK] Using -c 0 (auto-fit to available memory)
[WARN] Auto-fit not supported, falling back to -c 32768
Geminiに聞くと、以下のコマンドを打つよう進められたのでそうするとまたエラーでした。
/home/user/projects/bonsai/Bonsai-demo/bin/cuda/llama-cli \
-m /home/user/projects/bonsai/Bonsai-demo/models/gguf/8B/Bonsai-8B.gguf \
-p "What is the capital of France?" \
-n 128 \
-c 512
/home/user/projects/bonsai/Bonsai-demo/bin/cuda/llama-cli: error while loading shared libraries: libcudart.so.13: cannot open shared object file: No such file or directory
Geminiによると、
- 「プログラムが要求しているCUDAのバージョン（v13）が、システムにインストールされていない」というライブラリのリンクエラー
- libcudart.so.13 がないというエラーは、実行ファイルがCUDA 13という非常に新しい環境でビルドされていることを示している
- WSL2でこれを解決するには、Linux側にもCUDA Toolkitをインストールする必要がある
解決策
- WSL2（Ubuntu等）に CUDA Toolkit 13 をインストールする
# 既存の古いキーを削除（念のため）
sudo apt-key del 7fa2af80
# CUDA 13用の設定（※2026年現在の最新リポジトリを想定）
wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin
sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/3bf863cc.pub
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/ /"
sudo apt-get update
sudo apt-get -y install cuda-toolkit-13-0
- 環境パス（LD_LIBRARY_PATH）を通す
export LD_LIBRARY_PATH=/usr/local/cuda-13.0/lib64:$LD_LIBRARY_PATH
export PATH=/usr/local/cuda-13.0/bin:$PATH
これで動くようになりました。
./scripts/run_llama.sh -p "What is the capital of France?
複雑な質問をしてみる
> 大航海時代の三角貿易の倫理的側面について教えてください
大航海時代の**三角貿**（triangle trade）は、17世紀から19世紀にかけてヨーロッパ、アフリカ、インド大陸間で行われた貿易の重要なネットワークです。この貿易は、**三角貿**（triangle trade）と呼ばれ、**1つの船**が**2つの地域**に**2つの商品**を運び、**1つの船**が**2つの地域**に**2つの商品**を運び、**1つの船**が**2つの地域**に**2つの商品**を運び、**1つの船**が**2つの地域**に**2つの商品**を運び、**1つの船**が**2つの地域**に**2つの商品**を運び、**1つの船**が**2つの地域**に**2つの商品**を運びなど、**3つの地域**の間を結び合わせた貿易のネットワークです。この貿易は、**ヨーロッパ**、**アフリカ**、**インド**に**1つの船**が**2つの商品**を運び、**1つの船**が**2つの商品**を運び、**1つの船**が**2つの商品**を運びするように構成されています。
### 三角貿の倫理的側面
1. **奴隷**（Slave Trade）
- **アフリカ**から**インド**や**ヨーロッパ**へ**奴**が輸送され、**インド**や**ヨーロッパ**で**奴**が労働され、**奴**の**死**や**苦労**を伴う**悲惨な実態**がありました。
- **奴**は**アフリカ**の**農業**や**製造**に**依存**し、**ヨーロッパ**や**インド**の**富裕**に**貢献**し、**奴**の**価値**は**1人の奴**で**1000万ドル**に達しました。
2. **環境破壊**（Environmental Destruction）
- **インド**や**アフリカ**では**赤ん坊**や**火の上りに**火をつける**ことが**広く**行われ、**森林**や**水**を**破壊**させた**過酷な実態**がありました。
- **ヨーロッパ**では**船**の**汚染**や**海の汚**が**広く**ありました。
3. **文化の衝突**（Cultural Conflict）
- **ヨーロッパ**と**アフリカ**は**言語**や**宗教**や**習慣**が**大きく**異なる**文化**があり、**貿易**が**文化**の**衝突**や**不平等**を生み出しました。
- **インド**では**文化**が**非常に**豊富で**多様**でしたが、**ヨーロッパ**や**アフリカ**の**貢献**によって**文化**が**破壊**され、**価値**が**低く**されてしまいました。
4. **経済的不平等**（Economic Inequality）
- **ヨーロッパ**は**経済**を**発展**させる**中心**であり、**アフリカ**と**インド**は**経済**の**後ろ方**に**残**っていました。
- **三角貿**は**経済**の**不平等**を**高め**き、**経済**の**不平等**が**世界**の**経済**の**不平等**の**根源**となりました。
5. **社会的不平等**（Social Inequality）
- **ヨーロッパ**の**富裕**な**商人**や**航海**業者が**社会**の**上位**に**残**り、**貧**しい**船長**や**労働者**が**下位**に**残**っていました。
- **三角貿**は**社会**の**不平等**を**強化**し、**経済**と**社会**の**不平等**が**広が**りました。
6. **人権の侵害**（Human Rights Violations）
- **奴**は**人権**を**侵害**され、**人権**の**侵害**は**世界**の**人権**の**歴史**の**一部**でした。
- **三角貿**は**人権**の**侵害**の**主な**手段の一つであり、**人権**の**侵害**は**世界**の**歴史**の**一部**でした。
---
### 言明すること
**三角貿**は**経済**と**社会**の**不平等**の**主な**要因の一つであり、**倫理的**観点から**批判**されています。**三角貿**は**17世紀**から**19世紀**に**広く**行われ、**世界**の**経済**と**社会**の**歴史**に**深く**刻まれています。
---
もしさらに**詳細**に**知りたい**場合は、**三角貿**の**歴史**や**経済的**影響**、または**倫理的**観点**について**掘り下げて**いただけます。
[ Prompt: 107.8 t/s | Generation: 39.1 t/s ]
特徴として、
- 「奴隷」を「奴」、「三角貿易」を「三角易」など脱字が目立つ
- 三角貿易に関係ないインドが出てくる
- 「インドやアフリカでは赤ん坊や火の上りに火をつけることが広く行われ、森林や水を破壊させた過酷な実態**がありました。」と意味不明な記述がある。
・・・とBonsai-8Bは複雑な出力が苦手なようです。