gpt4all : Benchmarking LLM on CPU

概要

gpt には計算量が必要とは聞くが, 体感がわからない.
そのため以下環境での動作速度を検証する

• linux
  • ryzen 1700 8core 16thread
  • mem 64GB. 2133M Hlz
  • m.2 1T
• mac
  • m1 mac 8core
  • mem 16GB

実験概要

• 以下の prompt を実行する
  • Can you tell us one famous comic book in 20 words or less?
• 速度計測
  • 画面上に文章を書き始めるまでの時間
  • prompt 実行から書き終わるまでの時間

ryzen

thread	batch	write start	write end
2	8	20 sec	40 sec	実用性なし
4	8	12 sec	27 sec	実用性がこの辺りから出てくる
8	8	6 sec	13 sec	数単語/sec 程度。
16	8	6 sec	13 sec	同上
16	16	6 sec	14 sec	同上
16	32	9 sec	16 sec	同上. 性能は若干劣化
32	16			未計測。起動に1分以上かかる

m1 mac

thread	batch	write start	write end
2	8	5 sec	13 sec	実用性のある速度
4	8	3	7 sec	体感だいぶ早い
8	8	6	10sec	体感速度がだいぶ落ちる
16	8			未計測。起動に１分以上要する

所管

• 計算量
  • 現状のLLMはだいぶと計算量が必要と思える
• ryzen 1700
  • 恐らく古いCPUと環境なので遅い
  • 8thread 以上は若干性能劣化したが, core が8個だからだろうか.
• m1
  • 4core のみが高性能のため, 8core だと性能が劣化するとも捉えれる
  • 高性能コアの性能が垣間見れる