はじめに
Qwen-ChatはAlibaba CLoudが出しているChatGPTのようなものです。サービスとしてもありますが中国国内の電話番号が必要となり日本に住んでいる限りが無理です。そこで自前でも利用できるようオープンソース化されています。これを試していきたいと思います。
起動方法には２パターンあります。直接起動する方法とDockerで起動する方法で、ここではDockerで起動する方法を紹介します。
ECSの起動
起動に際し注意事項としてGPUインスタンスはそれなり高く、A10である必要があります。
そこでリージョンはタイ（バンコク）を選択します。プリエンプティブルを選択します。そしてecs.gn7i-c32g1.8xlargeしか余ってませんでしたが日本より安いです。
あと使用期間をなしにすると少し安くなります。
OSはUbuntuです。この方がドキュメントが多いためです。
ストレージは100GBにしておきます。40GBではモデルのダウンロードなどで満杯になります。
あとは起動します。
ドライバの導入
nvidiaのドライバをインストールします。Ubuntuはこの辺が楽です。
sudo apt update
sudo apt -y upgrade
sudo apt -y install ubuntu-drivers-common
最適なドライバを探します。
下記ではnvidia-driver-535がレコメンドされています。
ubuntu-drivers devices
ERROR:root:aplay command not found
== /sys/devices/pci0000:00/0000:00:07.0 ==
modalias : pci:v000010DEd00002236sv000010DEsd00001482bc03sc02i00
vendor : NVIDIA Corporation
model : GA102GL [A10]
driver : nvidia-driver-535-server - distro non-free
driver : nvidia-driver-525-open - distro non-free
driver : nvidia-driver-470 - distro non-free
driver : nvidia-driver-535-open - distro non-free
driver : nvidia-driver-535 - distro non-free recommended
driver : nvidia-driver-470-server - distro non-free
driver : nvidia-driver-525-server - distro non-free
driver : nvidia-driver-535-server-open - distro non-free
driver : nvidia-driver-525 - distro non-free
driver : xserver-xorg-video-nouveau - distro free builtin
インストールします。
sudo apt -y install nvidia-driver-535
sudo reboot
ドライバのインストールは完了です
Docker のインストール
ドキュメント通りです。
sudo apt update
sudo apt-get install ca-certificates curl gnupg
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
nvidia container toolkitのインストール
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
apt-get update
apt-get install -y nvidia-container-toolkit
sudo systemctl start docker
sudo docker run hello-world
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi
実行結果
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.129.03 Driver Version: 535.129.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA A10 On | 00000000:00:07.0 Off | 0 |
| 0% 27C P8 9W / 150W | 4MiB / 23028MiB | 0% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| No running processes found |
+---------------------------------------------------------------------------------------+
ここまでは準備です。
Qwenをダウンロード
Gitからダウンロードします。
git clone https://github.com/QwenLM/Qwen.git
必要なものをインストールします
pip install -r requirements.txt
モデルをダウンロード
Dockerのイメージだけでは動作しません。モデルが必要になります。
pip install modelscope
Qwen-7B-Chatモデルを以下のスクリプトを利用してダウンロードします。
from modelscope import snapshot_download
from transformers import AutoModelForCausalLM, AutoTokenizer
# Downloading model checkpoint to a local dir model_dir
# model_dir = snapshot_download('qwen/Qwen-7B')
model_dir = snapshot_download('qwen/Qwen-7B-Chat')
# model_dir = snapshot_download('qwen/Qwen-14B')
# model_dir = snapshot_download('qwen/Qwen-14B-Chat')
# Loading local checkpoints
# trust_remote_code is still set as True since we still load codes from local dir instead of transformers
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_dir,
device_map="auto",
trust_remote_code=True
).eval()
起動
以下のように環境変数を設定します。
IMAGE_NAME=qwenllm/qwen:cu117
PORT=8901
CHECKPOINT_PATH="/root/.cache/modelscope/hub/qwen/Qwen-7B-Chat"
起動にはそれなりに時間がかかります。
イメージのサイズが大きいです。
cd Qwen
bash docker/docker_web_demo.sh -i ${IMAGE_NAME} -c ${CHECKPOINT_PATH} --port ${PORT}
ECSのセキュリティグループに8901ポートを追加しましょう。
確認
アクセスして動作していることを確認します。
以上でQwen-chatの起動は完了です。
まとめ
今回は注目されているLLMのQwenをDockerで起動してみました。結構簡単に起動することが出来ました。
Dockerで起動できる点も良い点でした。Alibaba CLoudでなくとも起動します皆さんも試しに起動してみてはいかがでしょうか。