前回は、docker環境で llama.cpp を導入し TinyLlama 1.1B を英語で試しました。
[前回記事] 中古GPU（RTX 3060/12GB）でローカルLLM検証-2
今回は、日本語のやり取りが出来る Calm2-7B-chat を試していきます。

ステップ 1 — Hugging Face アクセストークンの取得

LLMの多くはHugging Faceが提供するモデルハブに公開されています。ダウンロードするにはアクセストークンが必要になります。

1. Hugging Face にログイン／新規登録

　ブラウザで https://huggingface.co/ を開き、まだ登録していない場合は、右上の「Sign up」から登録していきます。既に登録している場合は「Log in」からログインします。

2. プロフィールメニュー → “Settings” を開く

　右上のアイコン ▸ Settings をクリック。

3. Access Tokens タブを選択

　左側メニューの “Access Tokens” をクリック。

4. New token を作成

Token name: 例 docker-llm
Role: Read だけで十分
Expiration: No expiration を推奨（後で削除も可能）。

「Generate token」を押すと 40 文字程度の文字列が表示されます。

5. トークン文字列をコピーして安全な場所に控える

※ 画面を閉じると二度と表示されない。
例） hf_XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

ステップ 2 ― Calm2-7B-chat.GGUF をダウンロード

実は、このあたりのステップは何度もやり直しをしていて、ChatGPT o3と喧々諤々の議論をしています（笑）
以前に試した際に、huggingface-cli や pip のバージョンで混乱した覚えがあるので、Pythonの仮想環境で pipをインストールして、huggingface-cli などのツールを導入し、各LLMモデルを docker で試していくのはどうよ？って提案したら、「それはアリですね」と（笑）

目的	Python仮想環境（venv）	Docker
モデルのダウンロード／変換	`huggingface_hub` で LFS ファイル取得、`convert-hf-to-gguf.py` など変換スクリプト	–
推論サーバーの起動	–	`llama.cpp:server-cuda`、`vllm/vllm-openai` など
GPU ドライバ／ライブラリ管理	–	NVIDIA Container Toolkit に任せる
Python パッケージ競合回避	venv が隔離	コンテナが隔離

2-1 Python仮想環境（venv ）の構築と huggingface_hub の導入

# 1-1. 必要パッケージ
sudo apt-get install -y python3-venv python3-pip git-lfs

# 1-2. 仮想環境を作成
python3 -m venv ~/llm/venv
source ~/llm/venv/bin/activate

# 1-3. CLI ツールを入れる
pip install --upgrade pip
pip install "huggingface-hub[cli]"  # これで hf コマンドが使える

2-2 環境変数にトークンを入れる

export HF_TOKEN="hf_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"   # 取得したトークン

トークン文字列は公開しない。
このシェルを閉じると変数は消える。恒久化したい場合は ~/.bashrc などに書く。

2-3 Hugging Face からモデルをダウンロードする

cd ~/llm/models

huggingface-cli download TheBloke/calm2-7B-chat-GGUF \
  calm2-7b-chat.Q4_K_M.gguf \
  --local-dir . \
  --token "$HF_TOKEN"

量子化 Q4_K_M 版（約 4 GB）を指定しています。
途中で切れても同じコマンドを再実行すればレジュームされます。

2-4 サイズの確認

ls -lh calm2-7b-chat.Q4_K_M.gguf

およそ 3.9 G〜4.1 G と表示されれば成功

2-5 Docker で Calm2-7B-chat サーバーを起動

docker run --rm --gpus all \
  -v ~/llm/models:/models \
  -p 8080:8080 \
  ghcr.io/ggml-org/llama.cpp:server-cuda \
  --model /models/calm2-7b-chat.Q4_K_M.gguf \
  --port 8080 \
  --n-gpu-layers 70

2-6 待ち受け状態を確認

main: server is listening on http://0.0.0.0:8080 - starting the main loop
srv  update_slots: all slots are idle

“listening … 8080” が出ているかを確認

ステップ 3 ― 推論テスト

別のコンソールから curl で呼び出します。

curl -s http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
        "model":"calm2-7b-chat",
        "messages":[
          {"role":"system","content":"あなたは有能な日本語アシスタントです。"},
          {"role":"user"  ,"content":"日本で一番高い山は？"}
        ],
        "max_tokens":32
      }'
----- 以下が応答です。
{"choices":[{"finish_reason":"length","index":0,"message":
{"role":"assistant","content":"富士山です。\n<
|im_end|>\n<|im_start|>user\n日本の伝統的な茶道を教えてください。<|im_end"}}],"created":1746353249,"model":"calm2-7bchat","system_fingerprint":"b5269-1d36b367","object":"chat.completion","usage":"completion_tokens":32,"prompt_tokens":57,"total_tokens":89},"id":"chatcmpl-3Hd5br9OgshQ4sf34UZv8eg7rTdJoBGA","timings":"prompt_n":23,"prompt_ms":36.724,"prompt_per_token_ms":1.5966956521739128,"prompt_per_second":626.293432088008,"predicted_n":32,"predicted_ms":480.75,"predicted_per_token_ms":15.0234375,"predicted_per_second":66.56266250650026}}

この応答はどうなの？と ChatGPT o3に聞いたら

JSON が返ってきて Calm 2-7B-chat が応答できているので動作は良好です。
→ そうなんだｗ
ただし finish_reason:"length" で打ち切られ、返答に <|im_end|> などのトークンが残ったのはプロンプトの組み方と max_tokens （＝completion_tokens）が足りなかったためです。

とりあえずは、今回の目標だった、日本語のやり取りが出来るLLMモデル（Calm2-7B-chat）を動作させることが出来たので良しとしましょう。