近頃よくCline（や派生してフォークされている類似ツール）を目にするので、あまりAIやLLMには明るくないのですが「試しに触ってみたいな」という気持ちがありました。
が、API使うとそこそこ料金がかかる→Deepseek使おうかな→オプトアウトできないのか...という形で渋っていたのですが、最近ちょうどメインPCを作り替えたので、「ローカルでLLM動かしてみるか！」と思い立ち検証してみることにしました。
PC構成
新しくなったメインPCのスペックは下記になります。
- メモリ：32GB
- CPU：Ryzen 9700X
- GPU：Radeon 7800XT(16GB)
- OS：Windows11 Home
(某緑なGPUの方がこの分野では強いという話をよく聞きますが、私はAMD信者なのでメインはゲーム用途なのでコスパ云々でRadeonになっています）
スペック的にも一般的なゲーミングPCということで、大きめのパラメータ数のものを動かすのは厳しそうでしたので、今回は14Bのphi4を利用することにしました。
導入手順
前提として、手持ちのGPUが下記ページでHIP SDKに対応している必要があります。（非対応GPUは動作しません...)
https://rocm.docs.amd.com/projects/install-on-windows/en/latest/reference/system-requirements.html
1. HIP SDKのインストール
某緑なGPUはCUDAが使えますが、AMDのGPUはROCmのみの対応なので、下記ページからHIP SDKをダウンロードしインストールします。
(基本的にはWindows10&11の最新バージョンで問題ないかと思います。）
https://www.amd.com/en/developer/resources/rocm-hub/hip-sdk.html
2. Ollamaのインストール
下記からOllamaをダウンロードしインストールします。
https://ollama.com/download
もし必要であれば、Ollamaをローカルネットワークで共有できるようにします。
Windows + Rを押し、「SystemPropertiesAdvanced」と入力→環境変数からユーザー環境変数に下記を設定します。
| キー | 値 |
|---|---|
| OLLAMA_HOST | 0.0.0.0 |
3.phi4モデルのダウンロード
cmdより、下記コマンドでphi4モデルをダウンロード&実行します
$ ollama run phi4
4. Clineのインストール&設定
私はVSCodeを使用しているため、拡張機能→Clineを検索しインストールします。
その後、歯車ボタンから設定を開き、下記のように設定します
API ProviderはOllamaを選択、BaseURLはhttp://localhost:11434 か、ローカルネットワークにOllamaを共有した場合は、http://{PCのアドレス}:11434を入力します。
正しくOllamaが起動していれば、モデルを選択するチェックボックスが出てくると思うので、そちらからphi4:latestを選択します。
（いろいろ検証したためモデルが増えたりしていますが、参考程度に設定画面)
動作検証
これで動作するようになっているはずですので、実際に動作させてみます。
今回は簡単なTo-doアプリを作成してもらいました。
(チャットは英語で行ったほうが体感レスポンスが早かったので、英語で行いました）
Bootstrap,nginx,SQLite3を使用して作成してくださいと、そこそこ雑な命令をしましたが、ほぼ提案された命令をそのまま許可することで1からTo-doアプリを作成してくれました。
体感時間としては、この程度の簡単なタスクだからかもしれませんが、ギリギリ待てるかな...位のレスポンス速度かなと思います。(長くても、大体3~5分ほどでレスポンスが返ってくる程度)
7Bなどのパラメータ数にすればもう少々レスポンスが早くなるかもしれませんが、精度の問題もあるのでまた試してみる予定です。
参考文献
https://qiita.com/a_ogura/items/b29c22f3009c093d58f4
https://qiita.com/7shi/items/dc037c2d5b0add0da33a