さくらのクラウドGPUプランでLLMを動かしてみよう！

この記事はさくらインターネット Advent Calendar 2023 12日目の記事です。

はじめまして＆こんにちは、さくらインターネットのアルビです。

クラウド事業本部SRE室にて、主にさくらのクラウドに関わるOSS開発やクラウドGPU関連サービスの検証を行なってます。

先日、さくらのテックランチというイベントで最近の社内においての生成系AIの動きについてお話しさせていただきまして、「さくらのクラウドでLLMを立ち上げる手順が欲しい」という声がちらほら上がっていたため、今回の記事はさくらのクラウドGPUプランにて大規模言語モデルを載せて動かすための手順を簡単に紹介していきたいと思います！

さくらのクラウドGPUプランについて

さくらインターネットはさくらのクラウドというIaaSのサービスを提供しています。

そのサービスのうち、GPUプランというハイパーフォーマンスのGPUを初期費用不要で使用可能なプランがありまして、以下のスペックのサーバーが使用できます。

CPU	4コア
メモリ	56GB
GPU	NVIDIA V100 32GB x1

こちらのサーバーは石狩第一ゾーンに設置されています。

さくらのクラウドのGPUプランはおもに機械学習やHPC用途で多くのお客様に使用されております。

OSは自分で選択でき、今回はRocky Linux 9.2を使用させていただきます。

必要なもの

必要なものはさくらのクラウドのアカウントのみです！

手順

text-generation-webuiをインストールし、手元にLLM用のGUIを動かす手順を解説させていただきます。

まずはさくらのクラウドGPUプランのインスタンスを立ち上げます。

1. さくらのクラウド　コントロールパネルからサーバー作成
2. サーバープランはGPUプラン選択
3. 新規ディスク作成で、Rocky Linux 9.2のアーカイブを選択
4. データ容量が大きくなる可能性が高いですので、最低100GBを選択
5. 他の設定は好みでつけて、作成

終わりましたら、立ち上げたサーバーにログインし、以下の手順でドライバのインストールを行います。

1. まずはEPELを有効化し、Enterprise Linux用のパッケージインストール可能にします。

sudo dnf install epel-release

1. NVIDIAのレポジトリを追加し、NVIDIAのパッケージもインストール可能にします。

sudo dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel9/x86_64/cuda-rhel9.repo

1. カーネル関連パッケージをインストールします。

sudo dnf install kernel-devel-$(uname -r)

1. NVIDIAドライバパッケージをインストールします。

sudo dnf install nvidia-driver nvidia-settings

1. こちらは任意ですが、CUDAのパッケージもインストールできます。

sudo dnf install cuda-driver

1. 正常にインストールが終わったかは以下のコマンドで確認できます。

nvidia-smi

ドライバのインストールが終わりましたら、以下の手順でLLM用GUI「text-generation-webui」をインストールします。

1. まず以下のコマンドでwgetをインストールします。こちらを使用してインストーラをまたダウンロードします。

sudo dnf install wget

1. 以下のコマンドでWebUIのインストーラをダウンロードします。

wget https://github.com/oobabooga/text-generation-webui/releases/download/installers/oobabooga_linux.zip

1. ダウンロードしたファイルを解凍します。

unzip oobabooga_linux.zip

1. 解凍先フォルダに移動します。

cd oobabooga_linux

1. 以下のコマンドでインストーラを実行可能にします。

chmod +x start_linux.sh

1. 最後に、以下のコマンドでインストーラを実行します。

./start_linux.sh

インストールが正常に終わりましたら、自動的にサーバが立ち上がります。サーバを閉じてしまいもう一度立ち上げたい場合、また ./start_linux.sh を実行すれば大丈夫です！

最後に

というわけで、さくらのクラウドGPUプランを用いて誰でも簡単にLLMを使用できます！

モデルの導入などは、簡単にWebUIから可能です。

お読みいただきありがとうございました！

さくらインターネットは現在採用してます！
https://www.sakura.ad.jp/recruit/