はじめに

この調査の動機の一つとしては、Macの内蔵SSDの価格が非常に高いため、SSD容量が最小のモデルを購入して、外付けSSDでの運用ができるというのです。

Thunderbolt5は4の半分の時間で読み書きできている。
内蔵SSDとも遜色ない模様。

https://www.youtube.com/watch?v=xDE_WUQTxb4&t=437s
https://www.youtube.com/watch?v=xDE_WUQTxb4&t=396s
https://www.youtube.com/watch?v=hUWGwslm9W8

またもう一つの動機としてローカルLLMを試すためには大量のVRAMが必要となるところ、複数のMacをThunderbolt5で接続することで、高速な通信を行い、クラスタ化してLLMを実行する事ができるというのです。

https://www.youtube.com/watch?v=GBR6pHZ68Ho

macOSにはシステム設定ーネットワークーThundeboltブリッジがあり、イーサネットよりも高速な接続が可能なようです。私のMacBookAirでも設定が表示されました。
（OSはSonomaとSequoiaで確認済み）

Thunderbolt5の仕様

Thunderbolt3,4の40Gbpsに対し、Thunderbolt5は80Gbpsであり、冒頭に引用したビデオにあるようにSSDの例でも概ね２倍の速度が出ていました。
ネットワークブリッジではそこまでの速度が出ていませんでしたがそれでもThunderbolt4より1.5倍は高速な様子。

CPU別
Thunderbolt3 M1,M2無印,M3無印
Thunderbolt4 M2Pro,Max,Ultra, M3Pro,Max, M4無印
Thunderbolt5 M4Pro、M4Max
価格別　いずれもThunderbolt 5ポートx3, SSD512GB, RAM24GB
MacBookPro 328,800円（税込）〜 Thunderbolt 5ポート x 3
Macmini 218,800円（税込）〜　Thunderbolt 5ポート x 3

70BパラメータはRTX5090の32GBをもってしても、VRAM不足で動かす事ができない状況。

ローカルLLMをやるためには正攻法としてはNvidiaの大容量のVRAMを積んだシステムを使うのが一般的ですが、あくまで業務用で数百万円。

Macminiを64GBの14コアCPU、20コアGPU、16コアNeural Engine搭載Apple M4 Proチップとすると、338,800円（税込）。
これを３台購入してThunderbolt5の80Gbps接続すれば70BパラメータのローカルLLMができる可能性が・・。

しかも

会社なら空いてるMacを借りて試せるかも？

新しいAMDのRyzenAI搭載のPC（VRAM96GBまで割当可能）の発売にも期待したいが、こちらはUSB4っぽいのでクラスターすると帯域が問題となるか？。

最後までご覧いただきましてありがとうございました。