概要
gpt には計算量が必要とは聞くが, 体感がわからない.
そのため以下環境での動作速度を検証する
- linux
- ryzen 1700 8core 16thread
- mem 64GB. 2133M Hlz
- m.2 1T
- mac
実験概要
- 以下の prompt を実行する
- Can you tell us one famous comic book in 20 words or less?
- 速度計測
- 画面上に文章を書き始めるまでの時間
- prompt 実行から書き終わるまでの時間
ryzen
| thread |
batch |
write start |
write end |
|
| 2 |
8 |
20 sec |
40 sec |
実用性なし |
| 4 |
8 |
12 sec |
27 sec |
実用性がこの辺りから出てくる |
| 8 |
8 |
6 sec |
13 sec |
数単語/sec 程度。 |
| 16 |
8 |
6 sec |
13 sec |
同上 |
| 16 |
16 |
6 sec |
14 sec |
同上 |
| 16 |
32 |
9 sec |
16 sec |
同上. 性能は若干劣化 |
| 32 |
16 |
9 sec |
16 sec |
未計測。起動に1分以上かかる |
m1 mac
| thread |
batch |
write start |
write end |
|
| 2 |
8 |
5 sec |
13 sec |
実用性のある速度 |
| 4 |
8 |
3 |
7 sec |
体感だいぶ早い |
| 8 |
8 |
6 |
10sec |
体感速度がだいぶ落ちる |
| 16 |
8 |
|
|
未計測。起動に１分以上要する |
所管
- 計算量
- ryzen 1700
- 恐らく古いCPUと環境なので遅い
- 8thread 以上は若干性能劣化したが, core が8個だからだろうか.
- m1
- 4core のみが高性能のため, 8core だと性能が劣化するとも捉えれる
- 高性能コアの性能が垣間見れる
