Llama-3-ELYZA-JP-8B on Ollama on EC2（g5.xlarge）がなかなか

こちらの記事を参考にLlama-3-ELYZA-JP-8Bを動かしてみました。

私の手元にはMacがないので、EC2で試してみました。

環境

AMI：Deep Learning Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04)
インスタンスタイプ：g5.xlarge
ストレージ：100GiB　※ウィザードの初期値は65GiBですが足りなくなるので増やしました

構築手順

セッションマネージャーで接続し、「ubuntu」ユーザーに切り替えたうえで実行していきます。

1. Ollamaをインストール

   コマンド一発です。

   curl -fsSL https://ollama.com/install.sh | sh
   

2. モデルを取得

   Hugging Faceで公開されているモデルを取得します。

   https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B-GGUF

   取得に必要なGit LFSをインストールします。

   sudo apt update
   sudo apt install -y git-lfs
   

   モデルを取得します。

   git lfs install
   git clone https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B-GGUF
   

3. 「Modelfile」を作成

   参考元の投稿と1行目だけちょっと違います

   Modelfile

   FROM ./Llama-3-ELYZA-JP-8B-GGUF/Llama-3-ELYZA-JP-8B-q4_k_m.gguf
   TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
   
   {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
   
   {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
   
   {{ .Response }}<|eot_id|>"""
   PARAMETER stop "<|start_header_id|>"
   PARAMETER stop "<|end_header_id|>"
   PARAMETER stop "<|eot_id|>"
   PARAMETER stop "<|reserved_special_token"
   

4. Ollamaモデルを作成

   ollama create elyza:jp8b -f Modelfile
   

5. Ollamaを起動

   ollama run elyza:jp8b
   

動画

動画を撮影してみました。字がちっちゃくてごめんなさい

なかなかな速さで生成されていると思います。

インスタンスの料金

G5.xlargeインスタンスと100GiBストレージをオンデマンドインスタンスで月額742.38ドルです。（1ドル150円として111,357円です）

決して非現実的な金額ではないような気がしなくもない、ですね。