npakaさんのrinnaの日本語GPTモデルの記事を読んで、自分でも動かしてみたかったのと、GPUとCPUでどのくらい推論時間に差があるのか知りたかったので試してみました。
環境の準備
Windows 11の環境なので、以前の記事で紹介しているDocker環境を使います。
PyTorchで動くようですので、NVIDIAのnvcr.io/nvidia/pytorch:21.12-py3コンテナイメージを使います。
docker run --gpus all -it -p 8888:8888 -v D:\work\rinna:/rinna nvcr.io/nvidia/pytorch:21.12-py3 bash
起動したら、トークン化を行うSentencePieceと、Transformersをインストール。
pip install sentencepiece==0.1.96
pip install transformers==4.16.1
CPU実行とGPU実行の速度を比較してみる
CPUは、Intel Core i9-10850K。GPUは、NVIDIA RTX3090。
以下のコードに、実行時間を測定するコードを追加。
GPU
GPUを使ってサンプルコードの設定（100文字）だと、zero-shotのタスクで7.5秒～15秒ぐらいでした。
「数学の勉強には、」 8.01272964477539(sec)
数学の勉強には、問題の効果的な取り組み方と出題傾向の把握が重要になります。たとえば、中学受験を目指す場合、ただ学校の授業を真面目に聞いておればよいというわけではありません。学校の方針に 基づいて、学校の授業で出てきた問題から入試で出題されると予想される問題に取り組むことが必須なのです。入試問題に精通したプロの家庭教師であれば、そのような受験に適した指導が可能になります 。生徒さんは学校でただただ授業を聞いているだけでも、たとえ学校の授業はつまらなくても、入試問題で問われるような問題の傾向を把握することが可能です。そういう意味では、学校や
「昔あるところに、」 7.435275077819824(sec)
昔あるところに、パグシャという家がありました。この家はいつも貧乏だったので、誰も近づくことなく、家に引きこもっている状態でした。貧乏であるぶん、天からの恵みはいつも豊富にあるのですが、 めったにない機会に家のなかに入ることもありませんでした。ある日、パシャは、それまで見たこともないものを見てしまいました。それは、広い世界を通り抜けて来た長い立派な角のあるものだったので す。パシャは目が離せなくなって、毎日その家をのぞいてみました。すると、そこの子ども達が行列
「今回のニュースは、」 14.761165142059326(sec)
今回のニュースは、その「1枚の写真」をわざわざ報道したというものでした。内容としては、「1ヶ月ほど前に、山の中で小さなコオロギを偶然見つけた中国人女性。」と伝えています。それが「すごくか わいいコオロギだった。見た瞬間、写真に撮りたいと思った。でも、誰も撮った人はいないみたいだったので、1枚を撮るしかないと思った。」とのことです。もちろん、そのコオロギは中国語で中国語が書かれている「珍奇珍念昆虫図鑑」という本で紹介されているようです。ちょっと切り取った
CPU
CPUをでサンプルコードの設定（100文字）だと、zero-shotのタスクで22.5秒～46秒ぐらいでした。
「数学の勉強には、」 22.76529622077942(sec)
数学の勉強には、数学がなんのためにあるのかを説明してあげることが大事。だからまずは数学のはじまりである「算術」について、先生お薦めの教科書で基礎を勉強しよう。大切なのは問題を解くことで はなく、「なぜそうなるのか」を説明すること。この、説明するための ステップ は、いわゆる解法の理解の補助 に充ててもいい。数学を勉強していて、どうしてこの解法をとったのだろうという疑問を持ったときは、問題を数多く解くだけでなく、その問題の図に書いた式を読み解いて、「なんで
「昔あるところに、」 22.51263451576233(sec)
昔あるところに、長屋井勇という人がいた。 非常な商売人で、品物を売るのが好きだった。 あるとき、宝石を二三集め、数珠を二十点ばかり作った。 それを買いに来たのは、美しい顔をした行商人だつた。 「どういうものです。御注文をお受けいたしますよ」 と長井勇は言つた。 行商人は、さもいやらしい顔をして、「それでいゝ、こんな物を幾つに切ってある、五つ丸に切つて
「今回のニュースは、」 45.724703550338745(sec)
今回のニュースは、この実験で、ビタミンDによる被験者の痛みが和らいだという結果が得られ、論文として出版されたというもの。論文には以下のように記載されております。ちなみにこちらは、ビタミンDの「快力戦隊メテオス」CMソング「ビタミンDー陽射しを求めてー」のギター・バージョンです。いい歌だ。ちなみに、「ビタミンDー陽射しを求めてー」は、ネット上にアップされていた動画だそう。You tube 動画レビュー ビタミンD (初音
さいごに
CPUで推論させても全然我慢できる時間でした。あと、SentencePieceを使っているからなのか、日本語に特化しているからなのか理由はわかりませんが、日本語の文章がきれいですね。