ふええ... ChatGPT すごいねぇ...
しかしモデルとかは公開されていないね...
自前でも動かしたい...
GPT3-J がありました!
環境
- Ubuntu 20.04 + conda
- 3090
- CPU memory 128GB
情報
GPT-JをWindows11のGPU環境で動かしてみた
https://qiita.com/kekekekenta/items/8ff65475b19f8c924d97
ありがとうございます.
今回は huggingface transformers で Linux + pytorch + 3090 でぺろっとやります.
そのままではモデルが 24 GB あります. CPU メモリで読むのに 48 GB 以上必要です.
3090 + 64GB or 128 GB CPU メモリでなんとか扱える感じでしょうか.
fp16 版など使えば CPU も GPU も? 12 GB で読めるようです.
from transformers import GPTJForCausalLM
import torch
model = GPTJForCausalLM.from_pretrained(
"EleutherAI/gpt-j-6B", revision="float16", torch_dtype=torch.float16, low_cpu_mem_usage=True
)
あたり参考にしてこねこねスクリプトかけばいけます!
ありがとう GPT-3-J 👍 pic.twitter.com/2H1GEprK30
— syoyo.eth 🌸 レイトラ ® 🐯 4 周年 🎉 (@syoyo) December 8, 2022
さすがに日本語直はあんまりうまくいなないですね.
CPU only 実行
Whisper cpp https://qiita.com/syoyo/items/4c0c649aa5d8a62a2e04 で有名な ggml で GPT3-J 動かせました!
16 GB CPU メモリあればいけます.
スマホで完結は難しいですが, Desktop PC ならいけそうですね.
rinna/japanese-gpt-1b
日本語に特化したモデルがあります.
モデルサイズは 2.7 GB なので, これだと ggml でスマホに入れて動かすというのもできそうです!
TODO
- プロンプトエンジニアリングとかを頑張って ChatGPT っぽいのを作ってみる
- Whisper - GPT3-J - Stable Diffusion でなんかいい感じのことをやってみる