アマゾンで売ってたミニPC(否AA)
このマシンを死蔵しておりました。動かすには動かしてたんだけど、時計として。
あまりにもったいないなと思ってGeminiにこいつでLLM動かないかときいたらメモリ32GBあったらだいぶ遅いけど動くよ、と。返事がありました。ただしグラボは古い型だからCPUオンリーになるかもねとの話だった。
動かせるなら試してみたくなるのがばりっぴ。
いそいそと戻したWindows11から再びCachyOSに入れ替えました(AURの関係でArch系が入れやすいらしかった)。
言われるがままに最初は内臓GPU使うOllamaを入れてみたが上手く動かなかったのでCPUオンリーのOllamaを入れました。データセットはQwen2.5:7bとかいうやつ、なにが何を指しているのかわからんが兎に角うごくやつで動かしてみたかった。
動かすフロントエンドはOpenUIとかいうやつ、これもGeminiに教わった。
コストパフォーマンスメシを日本で摂るとしたらどうなるという問いにこうして答えてくれた。
ただ、圧倒的にGPUのメモリと比べたら遅いメモリなのでパソコン通信初期みたいな文字の出方だった。
どっちかというとこっちのたどたどしく出てくる文字の方が好みである（）。
いろいろ見ていくと最後の～～Bというのはパラメータ数のようだった。BillionのB。比較的動かしやすいLLMでも70億とか80億のパラメータを持っているとのことだそうだ。30bとか書いてるやつは300億パラメータのようであった。
同じQwen系で東工大が日本語データを学習させたQwen3 Swallowというのもあるようだったので(出て数日)、それもGeminiに教わりながらOllamaで動く形式にして動かしてみた。8bとか書いていたのでまあそこそこ動く。
返事を出すために4分くらい考えるけどまあ、ご愛敬だなぁと。コンピュータでもネットワーク通信でも遅い時代はあったのでこれからは爆速に動く向きに変わっていくかもしれない。変わらなくてもパソコンのスペックが上がって相対的に早くなる、かもしれない。
結構楽観的に考えてます。今回のAIブームこそ本物だな、と。
本当に感想文でした。