GPUでは動くことはわかってるFugaku-LLM。
自宅のCPUパソコンで動くのか試してみました。
結果
Fugaku-LLMはCPUパソコンでも動くが遅い。
実行環境
PCスペック
・CPU：Intel Core i5-13500
・メモリ：32GB（DDR4-3200×2枚）
・SSD：NVMe 1TB
・その他：
・GPUなしの普通のデスクトップです。詳しくは後日書くかも。
OSなど
・OS：Ubuntu 22.04 LTS Desktop
・今回は仮想化やコンテナは利用していません。
実行コード
import datetime
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
dt = datetime.datetime.now()
start = 'start: '+str(dt)
print(start)
model_path = "Fugaku-LLM/Fugaku-LLM-13B-instruct"
dt = datetime.datetime.now()
str1 = 'after_model_path: '+str(dt)
print(str1)
tokenizer = AutoTokenizer.from_pretrained(model_path)
dt = datetime.datetime.now()
str1 = 'after_tokenizer: '+str(dt)
print(str1)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map="auto")
dt = datetime.datetime.now()
str1 = 'after_model: '+str(dt)
print(str1)
model.eval()
dt = datetime.datetime.now()
str1 = 'after_model.eval(): '+str(dt)
print(str1)
system_example = "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"
instruction_example = "スーパーコンピュータ「富岳」の名前の由来を教えてください。"
prompt = f"{system_example}\n\n### 指示:\n{instruction_example}\n\n### 応答:\n"
input_ids = tokenizer.encode(prompt,
add_special_tokens=False,
return_tensors="pt")
dt = datetime.datetime.now()
str1 = 'after_input_ids: '+str(dt)
print(str1)
tokens = model.generate(
input_ids.to(device=model.device),
max_new_tokens=128,
do_sample=True,
temperature=0.1,
top_p=1.0,
repetition_penalty=1.0,
top_k=0
)
dt = datetime.datetime.now()
str1 = 'after_tokens: '+str(dt)
print(str1)
out = tokenizer.decode(tokens[0], skip_special_tokens=True)
dt = datetime.datetime.now()
str1 = 'after_out: '+str(dt)
print(str1)
print(out)
その他
・コードの各所にprint文入れて各所の実行時間をはかりました。
・2回目以降実行のため、
LLMモデルはローカルから読み込んでいます。
実行結果
実行ログ
start: 2024-05-19 14:25:58.486359
after_model_path: 2024-05-19 14:25:58.486378
after_tokenizer: 2024-05-19 14:25:58.829314
Loading checkpoint shards: 50%|████████▌ | 3/6 [00:00<00:00, 2Loading checkpoint shards: 100%|█████████████████| 6/6 [00:00<Loading checkpoint shards: 100%|█████████████████| 6/6 [00:00<00:00, 23.82it/s]
after_model: 2024-05-19 14:26:00.501484
after_model.eval(): 2024-05-19 14:26:00.503511
after_input_ids: 2024-05-19 14:26:00.506017
after_tokens: 2024-05-19 15:53:20.935008
after_out: 2024-05-19 15:53:20.935205
以下は、タスクを説明する指示です。要求を適切に満たす応答を書 きなさい。
### 指示:
スーパーコンピュータ「富岳」の名前の由来を教えてください。
### 応答:
「富岳」は日本のスーパーコンピュータの名前で、富士山の異名でもあります。この名前は、スーパーコンピュータが日本の研究と革新の象徴である富士山にちなんだもので、世界最高性能のコンピュータになることを目指すという決意を示すものです。
結果
・1回の実行に30分以上かかりました💦
・ColabのT4インスタンスでの実行は数分だったため、
想像以上にやばい結果となりました。
考察とこれから
・流石に1回の実行に30分はかかり過ぎという体感があったため、
少し原因調査しました。
仮説1：メモリ不足
Fugaku-LLMは実行に
26～30GB程度のメモリを利用すると言われています。
今回のPCには全体で32GBしかメモリを積んでいなかったため、
SSDへのスワップが発生していたのではないかと考えました。
スクショ
実行終了直前のtopの結果はこんな感じ。
個人的な見解
topを見ていた感じだと、
スワップそんなに発生していないのではないか？
と思います。
ただ、ガベージコレクションはガリガリしていました。
→後日メモリ増やして計測してみます。
仮説2：CPUをうまく使えていない
topを見ると、CPU使用率が100%～120%で全然伸びていませんでした。
スクショ
実行中のtop1のスクショはこんな感じ。
個人的な見解
マルチコアが全然使えておらずコアが遊びまくっています。
今回遅かった主原因はこれな気がします。
→後日マルチコア対応できるかどうか試してみます。
感想と今後の方針
でも、32GBメモリのCPU環境で
とりあえず最後まで実行できたことにはびっくりしました。
…正直、エラーで止まると思ってた（笑）
ただ、現在の速度では使い物にならないので、
・メモリ増強
・マルチコア対応
・GPU利用
の3方向で、
使い物になる実効速度に挑戦していきたいと思います。
最後に広告
本業の方の広告になってしまうのですが、
会社関係で「メタバース・デジタルツイン講座」やってます。
メタバース・デジタルツインに興味のある人はぜひよろしくお願いします。
