Chat GPTやGeminiにはOSS(オープンソース)という形でローカル環境にて動かすことのできるローカルLLMなるものが配布されている事をご存知でしょうか？
※OSS(オープンソース)とは、世界中の誰であっても無料で取得できて改変及び再配布、販売が許可されているソフトウェアのソースコードのことである。
ローカルLLMに限らずOSSは無料で配布されているため、月額3000円の課金プランと比べると凄くお得に感じるかもしれませんがそう都合のいい話ではありません。
なぜなら、物凄く高価でハイスペックなPCでなければ動かすことが不可能だからです。
これは、そうと知りつつも「少しぐらいならノートPCでも動かせるのでは？」と思った男の話である。
結論からいうと、短時間かつ短い文章であれば動かすことができましたが、タイトルにもある通り
タスクマネージャーのメモリ使用率が９９％という見たことがない数値になりすぐにPCがフリーズしてしまいました。
すぐに強制シャットダウンの措置をとることによって故障などの最悪の事態は免れることができました。(何ならこの記事はそのノートPCで書いています。)
また技術記事としてあるまじきことなのですが、すぐにフリーズしてしまったため残念ながらスクショなどの証拠をおさえることはできませんでした。
近いうちにデスクトップＰＣが届くのでそちらでリベンジしてみようと思います。
※使用したノートPCのスペック
デバイス名 LAPTOP-C8E1CVE2
プロセッサ 11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz (2.42 GHz)
実装 RAM 16.0 GB (15.8 GB 使用可能)
デバイス ID 3FFF4860-7F6B-452D-97DB-E88C6DCAB4F5
プロダクト ID 00356-06292-38569-AAOEM
システムの種類 64 ビット オペレーティング システム、x64 ベース プロセッサ
※タイトルにもありますが故障の原因になるため絶対に真似をしないでください。