はじめに
Qwen-ChatはAlibaba CLoudが出しているChatGPTのようなものです。サービスとしてもありますが中国国内の電話番号が必要となり日本に住んでいる限りが無理です。そこで自前でも利用できるようオープンソース化されています。これを試していきたいと思います。
起動方法には２パターンあります。直接起動する方法とDockerで起動する方法で、ここでは直接起動する方法を紹介します。
ECSの起動
起動に際し注意事項としてGPUインスタンスはそれなり高く、A10である必要があります。
そこでリージョンはタイ（バンコク）を選択します。プリエンプティブルを選択します。そしてecs.gn7i-c32g1.8xlargeしか余ってませんでしたが日本より安いです。
あと使用期間をなしにすると少し安くなります。
OSはUbuntuです。この方がドキュメントが多いためです。
ストレージは100GBにしておきます。40GBではモデルのダウンロードなどで満杯になります。
あとは起動します。
ドライバの導入
nvidiaのドライバをインストールします。Ubuntuはこの辺が楽です。
sudo apt update
sudo apt -y upgrade
sudo apt -y install ubuntu-drivers-common
最適なドライバを探します。
下記ではnvidia-driver-535がレコメンドされています。
ubuntu-drivers devices
ERROR:root:aplay command not found
== /sys/devices/pci0000:00/0000:00:07.0 ==
modalias : pci:v000010DEd00002236sv000010DEsd00001482bc03sc02i00
vendor : NVIDIA Corporation
model : GA102GL [A10]
driver : nvidia-driver-535-server - distro non-free
driver : nvidia-driver-525-open - distro non-free
driver : nvidia-driver-470 - distro non-free
driver : nvidia-driver-535-open - distro non-free
driver : nvidia-driver-535 - distro non-free recommended
driver : nvidia-driver-470-server - distro non-free
driver : nvidia-driver-525-server - distro non-free
driver : nvidia-driver-535-server-open - distro non-free
driver : nvidia-driver-525 - distro non-free
driver : xserver-xorg-video-nouveau - distro free builtin
インストールします。
sudo apt -y install nvidia-driver-535
sudo reboot
ここまでは準備です。
Qwenをダウンロード
Gitからダウンロードします。
git clone https://github.com/QwenLM/Qwen.git
必要なものをインストールします
cd Qwen
pip install -r requirements.txt
pip install -r requirements_web_demo.txt
web_demo.py を編集します。すべてのネットワークから受け付けます。
parser.add_argument("--server-name", type=str, default="127.0.0.1",
↓
parser.add_argument("--server-name", type=str, default="0.0.0.0",
起動します。モデルもダウンロードされます。
python3 web_demo.py
ECSのセキュリティグループに8000ポートを追加しましょう。
確認
アクセスして動作していることを確認します。
以上でQwen-chatの起動は完了です。
まとめ
今回は注目されているLLMのQwenを起動してみました。結構簡単に起動することが出来ました。
Alibaba CLoudでなくとも起動します皆さんも試しに起動してみてはいかがでしょうか。