今更ローカルLLMを導入してみる

はじめに

AOAI使ってるけど個人利用するには高いからいろんな遊びするためにローカルLLMを入れます。
導入までなので手順という手順も無いですが備忘録として・・・

環境

• Ubuntu 24.04.2 LTS

導入

Ollamaインストール

インストールスクリプトを持ってきて実行します。

curl -L https://ollama.ai/install.sh | bash

バージョン確認コマンドを打って表示されたら完了

ollama --version

モデルインストール

試しにphi-4をインストールしてみます。

ollama pull phi4

successと表示されたら完了です。

モデル実行

ollama run phi4

入力コンソールに入力すると回答帰ってきます。

/byeで終了

おわり

とりあえずローカルLLMの導入はできました。
今後はメインPCからAPI経由で叩いたり、NASのファイルを対象にローカルRAG作ったりとかしてみようと思います。