近頃よくCline（や派生してフォークされている類似ツール）を目にするので、あまりAIやLLMには明るくないのですが「試しに触ってみたいな」という気持ちがありました。
が、API使うとそこそこ料金がかかる→Deepseek使おうかな→オプトアウトできないのか...という形で渋っていたのですが、最近ちょうどメインPCを作り替えたので、「ローカルでLLM動かしてみるか！」と思い立ち検証してみることにしました。

PC構成

新しくなったメインPCのスペックは下記になります。

メモリ：32GB
CPU：Ryzen 9700X
GPU：Radeon 7800XT(16GB)
OS：Windows11 Home
(某緑なGPUの方がこの分野では強いという話をよく聞きますが、 ~~私はAMD信者なので~~ メインはゲーム用途なのでコスパ云々でRadeonになっています）

スペック的にも一般的なゲーミングPCということで、大きめのパラメータ数のものを動かすのは厳しそうでしたので、今回は14Bのphi4を利用することにしました。

導入手順

前提として、手持ちのGPUが下記ページでHIP SDKに対応している必要があります。（非対応GPUは動作しません...)
https://rocm.docs.amd.com/projects/install-on-windows/en/latest/reference/system-requirements.html

1. HIP SDKのインストール

某緑なGPUはCUDAが使えますが、AMDのGPUはROCmのみの対応なので、下記ページからHIP SDKをダウンロードしインストールします。
(基本的にはWindows10&11の最新バージョンで問題ないかと思います。）
https://www.amd.com/en/developer/resources/rocm-hub/hip-sdk.html

2. Ollamaのインストール

下記からOllamaをダウンロードしインストールします。
https://ollama.com/download

もし必要であれば、Ollamaをローカルネットワークで共有できるようにします。
Windows + Rを押し、「SystemPropertiesAdvanced」と入力→環境変数からユーザー環境変数に下記を設定します。

キー	値
OLLAMA_HOST	0.0.0.0

3.phi4モデルのダウンロード

cmdより、下記コマンドでphi4モデルをダウンロード&実行します

$ ollama run phi4

4. Clineのインストール&設定

私はVSCodeを使用しているため、拡張機能→Clineを検索しインストールします。
その後、歯車ボタンから設定を開き、下記のように設定します
API ProviderはOllamaを選択、BaseURLはhttp://localhost:11434 か、ローカルネットワークにOllamaを共有した場合は、http://{PCのアドレス}:11434を入力します。

正しくOllamaが起動していれば、モデルを選択するチェックボックスが出てくると思うので、そちらからphi4:latestを選択します。

（いろいろ検証したためモデルが増えたりしていますが、参考程度に設定画面)

動作検証

これで動作するようになっているはずですので、実際に動作させてみます。
今回は簡単なTo-doアプリを作成してもらいました。
(チャットは英語で行ったほうが体感レスポンスが早かったので、英語で行いました）

Bootstrap,nginx,SQLite3を使用して作成してくださいと、そこそこ雑な命令をしましたが、ほぼ提案された命令をそのまま許可することで1からTo-doアプリを作成してくれました。

体感時間としては、この程度の簡単なタスクだからかもしれませんが、ギリギリ待てるかな...位のレスポンス速度かなと思います。(長くても、大体3~5分ほどでレスポンスが返ってくる程度)

7Bなどのパラメータ数にすればもう少々レスポンスが早くなるかもしれませんが、精度の問題もあるのでまた試してみる予定です。

参考文献

https://qiita.com/a_ogura/items/b29c22f3009c093d58f4
https://qiita.com/7shi/items/dc037c2d5b0add0da33a