はじめに
IntelのGPUを使ってLLMを動かす際の手順についてまとめました。NPU編は別項で扱います。
使用環境
- AtomMan X7 Ti 185H
- CPU: Intel Core Ultra9 processor 185H
- GPU: Intel Arc Graphics
- Memory: 96GB
- OS: Ubuntu 24.04.1 LTS
手順
ドライバをインストールする
まず、Intelのサイトを参考にドライバをインストールします。
wget -qO - https://repositories.intel.com/gpu/intel-graphics.key | \
sudo gpg --yes --dearmor --output /usr/share/keyrings/intel-graphics.gpg
echo "deb [arch=amd64,i386 signed-by=/usr/share/keyrings/intel-graphics.gpg] https://repositories.intel.com/gpu/ubuntu noble client" | \
sudo tee /etc/apt/sources.list.d/intel-gpu-noble.list
sudo apt update
sudo apt-get install -y libze1 intel-level-zero-gpu intel-opencl-icd clinfo
pytorchで使う以下の2つも入れておきます。
sudo apt-get install -y libze-dev intel-ocloc
インストールされたか確認します。
clinfo | grep "Device Name"
以下のように表示されれば成功です。
Device Name Intel(R) Arc(TM) Graphics
Device Name Intel(R) Arc(TM) Graphics
Device Name Intel(R) Arc(TM) Graphics
Device Name Intel(R) Arc(TM) Graphics
ついでに、Intel GPU Toolsを入れておきます。GPUの使用状況などを確認できます。
sudo apt-get install intel-gpu-tools
pytorchなどをインストールする
必要に応じて仮想環境を作成したうえで、以下のサイトを参考にpytorchをインストールします。
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/test/xpu
xpuが有効かどうかをpythonで確認します。
import torch
torch.xpu.is_available()
'True'と出たので大丈夫なようです。
transformersとaccelerateとをインストールします。
pip install transformers accelerate
これで準備は終了です。
LLMを使ってみる
では実際に動かしてみましょう。例として、tanuki8Bを使ってみます。まず、比較としてGPUを使わないで動かしてみます。
import datetime
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
st = datetime.datetime.now()
print("開始時刻", end=": ")
print(st)
model = AutoModelForCausalLM.from_pretrained("weblab-GENIAC/Tanuki-8B-dpo-v1.0", device_map="cpu", torch_dtype="auto")
tokenizer = AutoTokenizer.from_pretrained("weblab-GENIAC/Tanuki-8B-dpo-v1.0")
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
messages = [
{"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
{"role": "user", "content": "たぬきに純粋理性批判は理解できますか？"}
]
input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
output_ids = model.generate(input_ids,
max_new_tokens=1024,
temperature=0.5,
streamer=streamer)
et = datetime.datetime.now()
print("終了時刻", end=": ")
print(et)
t = et - st
print("所要時間", end=": ")
print(t)
所要時間は以下のとおりでした。
所要時間: 0:53:49.054149
これは初回なのでモデルのダウンロードにかかる時間が含まれています。もう一度実行してみると、
所要時間: 0:25:15.120710
これがCPUでの実質的な所要時間です。
今度はGPUを使って走らせてみます。上のスクリプトの8行目device_map="cpu"をdevice_map="xpu"に修正します。別ウインドウでsudo intex_gpu_topを走らせておくとGPUの使用状況がわかります。
所要時間: 0:05:20.790503
所要時間が1/5ほどになりました。だいぶ短くなりました。ただし、Mac Studio(初代・竹)で動かすと52秒程度で終わるので、それに比べるとだいぶ緩慢な気がします。