AIってやつをローカルで動かしたい！！・・・でもPCが貧弱！！
どうもAIローカルで動かしたい人です。
突然ですか皆さん。こんなことはないでしょうか。
AIのクレジットがねええええええええええええええええええええええええええええええ！！
ありますよね。ね？？
そこでAIをローカルで動かしたくなるわけです。え？ならない？なりますよね？（圧）
でも私のPCは超貧弱2019年製ビジネス用ノート。
RTXが積んであるわけでもないので重いAIなんて動くわけがありません。
そこで今回は自分の貧弱PCでAIを動かしたいと思います。
スペック
一応戦友のスペック貼っておきます。以下の通りです。
| パーツ | スペック |
|---|---|
| CPU | intel core i5 第8世代(4コア8スレッド) |
| GPU | intel CPU内蔵グラフィックス |
| RAM | DDR4 SO-DIMM 16GB(デュアルチャンネル) |
| ストレージ | Cドライブ:M.2 SATA SSD 200GB/Dドライブ:SATA 2.5inch SSD 500GB |
環境構築
まずはOllamaを入れます。
筆者はD:\に入れたかったのでポータブル版を入れましたが皆さんは通常版でも問題ありません
入れられたら、コマンドが出るか確認します。
>ollama
Large language model runner
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start Ollama
create Create a model
show Show information for a model
run Run a model
stop Stop a running model
pull Pull a model from a registry
push Push a model to a registry
signin Sign in to ollama.com
signout Sign out from ollama.com
list List models
ps List running models
cp Copy a model
rm Remove a model
launch Launch the Ollama menu or an integration
help Help about any command
Flags:
-h, --help help for ollama
--nowordwrap Don't wrap words to the next line automatically
--verbose Show timings for response
-v, --version Show version information
Use "ollama [command] --help" for more information about a command.
と出たらOKです。
モデルを入れる
ターミナルで
ollama run <モデル名>
と入れるとモデルが自動で入ります。入れたモデルを動かす時もこれでできます。筆者は写真のモデルを入れました。(myqwenは自分でModelfileを使って作ったモデルです。ここでは紹介しません）
Page Assistを入れる
このままでは検索機能がないので写真のようにアホになってしまいます
↑なんだよそのネットミーム
2020年には「うわさ」が流行り2019年には「なにもない」が流行ったんですね！！(大嘘)
この謎について知ってることがある人はコメント欄で詳細を教えてくださいw
なのでchrome拡張機能からPage Assistという拡張機能を入れてAIが自動でweb検索できるようにします
注意！
gemmaとphiは検索に対応していないため検索機能が使えません。
入れた結果がこちらです。
日本語ではーなそとかネタを言いました。
↑なにいっとん？
またまたはなさんという料理について知っている人コメント欄で情報大募集中ですw
おかしいですね。謎の概念を生成して謎の料理を作っています。にほんごであそぼは料理番組ではありませんw
なんだよはなさんって。もしかして…春さm…。これはいけません。
頭のいいモデルを入れる
さっきのカオス化の原因はモデルの自頭が悪いから起きたと考えられます。
じゃあ頭のいいモデルを入れなきゃいけません。
今回はちょっと増やしてのQwen 3Bを使います。
いざ、再挑戦！
動かしてみましょう。
・・・
あれ？検索してくれません。
どうやらPage assistと相性が悪いようです。
OpenWebUIというローカルホストを使うツールを使います。
open-webui serve
で立ち上げます。
ブラウザでlocalhost8080を見れば使えます。
こいつ入れるの意外といろんな方法があるので公式とかなりなんなりのドキュメント見てください。じゃないと環境が汚れて取り返しがつかなくなります。
個人的にはuvでvenvを使って入れるのが楽でした。uvxで入れると謎の容量食いに時間を潰されます。（使い終わったら消えるせいでどこにあるか検討がつかない為です）
では再挑戦！
UIがリッチになったぶん重いです。
注意！安易に使うとweb検索できません。筆者はuvでDDGSを入れて設定から検索エンジンを有効化しました。
あいうえおんがくについて聞きました。
結果がこちらです。
うーーん。
微妙ですね。
qwenは検索ツールの呼び出しの構文が理解できていない可能性があるのでllama3.2をいったん使います。
claudeについて聞きました。
やはりうまく使えていません。（モネと言わないだけましです）
そその後、ギリ動くQwen7Bなどでもやりましたが、全く効果がありませんでした。
なぜ出来なかったか
これは多分頭が悪いからではなくRAGなどのツール呼び出しが使えないことにあります。
どういうことかと言うと、AIは検索などのリクエストを送る時、JSONなどのデータをツールに送ります。そしてツールがそれを受け取り、実行します。
今回はそのやり方を物理的にAIが知らないため上手く行きませんでした。
なのでこちらがどう手を尽くしてもダメです。できません。
本文には書いてませんが、日本語最強モデルのswallow8B-instruct_Q4_K_Mを入れたりしましたがダメでした。ただPage Assistを使って、ローカルで数分かかってやっと動くllama3.1ならちゃんと動きます。
結果
貧弱ノートでAIを動かすことはできます。
しかーし！
webを検索させてリアルタイムの情報を得るのは難しいです。
あの後色々試行錯誤しましたが分かりませんでした。読者の皆様に申し訳ないです。もし何か知ってることがある人はコメントで教えてください🙏
AIのクレジット切れで困っている人の参考になれば幸いです。
結論:クラウドは偉大だ。金を払おう。