サーバ用GPUではサクサク動くことはわかってるFugaku-LLM。
前回はCPUのみで動かしてみましたが、
今回は自宅用GPUを追加して早くなるのかを試してみました。

結果：とりあえず20倍くらい高速化

自宅用GPU（Geforce 2070）を使うとFugaku-LLMは少し早くなる。

・GPUでのサポートあり実行結果：約4分
・CPUのみでの実行時間：約70分

実行環境

以前の実行環境を強化しました。
・GPU：Geforce 2070を追加
・メモリ：64GB追加（合計96GB）

PCスペック：GPU追加、メモリ強化

・CPU：Intel Core i5-13500
・メモリ：96GB（DDR4-3200×4枚）← 以前は32GB
・GPU：Geforce 2070（8GB）
・SSD：NVMe 1TB
・その他：
　・メモリを3倍、古めのGPU搭載しました。

OSなど

・OS：Ubuntu 22.04 LTS Desktop
・今回は仮想化やコンテナは利用していません。

実行コード

以前と同じです。

import datetime
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

dt = datetime.datetime.now()
start = 'start: '+str(dt)
print(start)

model_path = "Fugaku-LLM/Fugaku-LLM-13B-instruct"
dt = datetime.datetime.now()
str1 = 'after_model_path: '+str(dt)
print(str1)


tokenizer = AutoTokenizer.from_pretrained(model_path)
dt = datetime.datetime.now()
str1 = 'after_tokenizer: '+str(dt)
print(str1)


model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map="auto")
dt = datetime.datetime.now()
str1 = 'after_model: '+str(dt)
print(str1)


model.eval()
dt = datetime.datetime.now()
str1 = 'after_model.eval(): '+str(dt)
print(str1)


system_example = "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"
instruction_example = "スーパーコンピュータ「富岳」の名前の由来を教えてください。"

prompt = f"{system_example}\n\n### 指示:\n{instruction_example}\n\n### 応答:\n"

input_ids = tokenizer.encode(prompt,
                             add_special_tokens=False,
                             return_tensors="pt")
dt = datetime.datetime.now()
str1 = 'after_input_ids: '+str(dt)
print(str1)

tokens = model.generate(
    input_ids.to(device=model.device),
    max_new_tokens=128,
    do_sample=True,
    temperature=0.1,
    top_p=1.0,
    repetition_penalty=1.0,
    top_k=0
)
dt = datetime.datetime.now()
str1 = 'after_tokens: '+str(dt)
print(str1)


out = tokenizer.decode(tokens[0], skip_special_tokens=True)
dt = datetime.datetime.now()
str1 = 'after_out: '+str(dt)
print(str1)
print(out)

実行ログ

tsubasa@ubuntu2204:~/fugaku$ python3 fugaku.py
start: 2024-06-04 23:25:21.430459
after_model_path: 2024-06-04 23:25:21.430477
after_tokenizer: 2024-06-04 23:25:22.056591
Loading checkpoint shards:  17%|████████▊                                            | 1/6 [00:00<00:02,  Loading checkpoint shards:  33%|█████████████████▋                                   | 2/6 [00:00Loading checkpoint shards:  83%|█████████████████████████████████████████Loading checkpoint shards: 100%|█████████████████████████████████████████████████████| 6/6 [00:00<00:00,  7.37it/s]
WARNING:root:Some parameters are on the meta device device because they were offloaded to the cpu.
after_model: 2024-06-04 23:25:23.883337
after_model.eval(): 2024-06-04 23:25:23.883999
after_input_ids: 2024-06-04 23:25:23.885092
after_tokens: 2024-06-04 23:29:28.747243
after_out: 2024-06-04 23:29:28.747494
以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。

### 指示:
スーパーコンピュータ「富岳」の名前の由来を教えてください。

### 応答:
「富岳」は日本の理化学研究所と富士通が共同で開発したスーパーコンピュータで、富士山の異名である「富嶽」に由来している。この名前は、スーパーコンピュータが日本の高い技術力と革新性を象徴し、世界の科学と技術の進歩に貢献することを願って付けられた。また、富士山が四季を通じて美しく、荘厳であり続けるように、「富岳」もスーパーコンピュータの安定性、スピード、性能の象徴であり続けることを願って名付けられた。

考察とこれから

今回は家庭用GPUを使って動かしてみましたが、
結果、実行時間が約1/20になりました。
しかし、まだ4分もかかっており遅い。
この原因を考えます。

原因1：GPUメモリが足りない。

実行前からわかっていましたが、
「Geforce 2070のGPUメモリ8GBには、
　Fugaku-LLM全てはGPUメモリには乗り切らない」です。
（完全GPU動作させるにはGPUメモリが28GBくらい必要な模様）

このため、Pytouchでは、
GPUをアクセラレーターとして使い、
足りないメモリ領域をCPUで動かしているようです。
これは、実行時に以下のようなWARNINGが出てることからもほぼ確定。

WARNING:root:Some parameters are on the meta device device because they were offloaded to the cpu.

以下は実行時スクショですが、
やっぱりGPUメモリだけでは足りずCPU側のメインメモリも食っています。
まぁ、足りないものは仕方ないですから…
…サーバ用GPUとか高くて買えないし、
ストレージにスワップするよりはマシでしょう。

＜GPUメモリ利用率＞

＜CPU側メモリ（メインメモリ）利用率＞

原因2：CPUが全然回っていない

こちらのスクショからもわかるんですが、
CPUコアの合計利用率が
トータル1コア分100%以上にならないんですよ。
なんで？？？

で、
感覚的なもの（理由はきちんと追求してない）では、
・CPU利用率がトータル100%にキャップされている
という可能性もありなんですが、
なんとなく、
・メモリ転送速度の方で詰まってね？
って気もします。
ここらへん、
CPUとメモリの利用のあたり勉強しないとわかんないっすね。
いや、ソースコード読めっていうツッコミもありますが。。。

＜CPU側メモリ（メインメモリ）利用率＞

原因3：実行時に毎回メモリロードしている

これはサンプルコードをただ流用して動かしてるせいなんですが、
このコード、
「実行するたびに毎回LLMをメモリ上に展開してる」
んですよね。
これは非効率なんで、
この辺は後日改善しようと思います。

最後に広告

本業の方の広告になってしまうのですが、
会社関係で「メタバース・デジタルツイン講座」やってます。
メタバース・デジタルツインに興味のある人はぜひよろしくお願いします。

https://www.kcc.knowledgewing.com/icm/srv/course-application/init-detail?cd=FLM&pcd=FLMC&cscd=UMT01L